资讯丨MINIMAX发布abab7-preview模型,数学编程能力不足但推理长文理解表现都不错?!

11月初,MINIMAX发布了新款abab7-preview模型该模型支持245K上下文,相对于abab6.5系列模型在长文、数学、写作等能力有大幅度提升。

资讯丨MINIMAX发布abab7-preview模型,数学编程能力不足但推理长文理解表现都不错?!

根据网上搜索到的关于abab7-preview模型的资料并不多,想要进一步了解这一模型,可以通过实测看看真实的表现。

> 在302.AI上使用

目前,302.AI已经提供了abab7-preview模型,用户可以通过302.AI直接获得模型使用,也可以通过API超市快速接入模型。以下是获取模型的具体步骤:

【聊天机器人】

1、进入302.ai,登录后在左侧菜单栏点击“使用机器人”——选择“聊天机器人”——模型中选择“abab7-preview”模型。

资讯丨MINIMAX发布abab7-preview模型,数学编程能力不足但推理长文理解表现都不错?!

【API超市】

1、进入302.ai后——点击“使用API”——选择“API超市”——分类中点击“语言大模型”——然后选择“国产模型”。

资讯丨MINIMAX发布abab7-preview模型,数学编程能力不足但推理长文理解表现都不错?!

2、下滑可以看到已经提供了模型abab7-preview的API,大家可以根据需求选择【查看文档】快速接入API或者选择【在线体验】测试模型的参数。

资讯丨MINIMAX发布abab7-preview模型,数学编程能力不足但推理长文理解表现都不错?!

> 实测对比

为了更好了解模型的真实表现,接下来实测1-3会通过使用302.AI的模型竞技场实测对比模型的表现。

302.AI提供了非常多模型供用户选择,而在对比模型的时候,我们会尽量选择价格、性能等相近的模型来对比,这样才有参考意义。

这次实测中我们选择了在12月初Amazon推出全家桶模型里的Amazon Nova Pro模型以及claude系列中小模型claude-3.5-haiku作为对比,模型均由302.AI提供,这三个模型的价格以及支持的上下文长度都相近。

实测1:逻辑常识测试

提示词:蒸1个包子要10分钟,蒸十个包子要多久?

分析:如果你以为这只是简单的数学题那就错了,其实这是一个典型的逻辑和常识问题,用来考察人们是否能够区分“并行”和“串行”任务的处理时间。蒸包子这个问题的答案取决于蒸锅的大小和蒸锅的工作原理,是一个考察逻辑思维和实际情况理解的问题。来看下三个模型的表现:

claude-3.5-haiku:分析合理,回答正确

Nova Pro分析很完整,根据题目设想多种场景并根据这些场景给出答案,回答正确。

abab7-preview:回答虽然没有Nova Pro这么详细,但是也是回答正确的。

资讯丨MINIMAX发布abab7-preview模型,数学编程能力不足但推理长文理解表现都不错?!

实测2:推理测试

提示词:

资讯丨MINIMAX发布abab7-preview模型,数学编程能力不足但推理长文理解表现都不错?!

分析:其实这是一道简单的逻辑推理题,解答这道题我们需要先分析4个人的表述,然后再结合分析内容和结论进行推理。看以下模型的回答:

claude-3.5-haiku:分析不对,回答错误。

资讯丨MINIMAX发布abab7-preview模型,数学编程能力不足但推理长文理解表现都不错?!

Nova Pro分析正确,回答正确

资讯丨MINIMAX发布abab7-preview模型,数学编程能力不足但推理长文理解表现都不错?!

abab7-preview:分析正确,回答正确

资讯丨MINIMAX发布abab7-preview模型,数学编程能力不足但推理长文理解表现都不错?!

实测3:数学测试:

提示词:

资讯丨MINIMAX发布abab7-preview模型,数学编程能力不足但推理长文理解表现都不错?!

分析:这一题是来自2024年AIME数学竞赛的题目,先说下正确答案是236

claude-3.5-haiku:分析过程不长,最后的答案是错误的。

资讯丨MINIMAX发布abab7-preview模型,数学编程能力不足但推理长文理解表现都不错?!

Nova Pro:Nova Pro也是回答错误。

资讯丨MINIMAX发布abab7-preview模型,数学编程能力不足但推理长文理解表现都不错?!

abab7-preview:虽然分析过程很长,但是最后的结果是错误的。

资讯丨MINIMAX发布abab7-preview模型,数学编程能力不足但推理长文理解表现都不错?!

这一题所有模型都回答错误,所以附上了o1-preview的正确答案:

资讯丨MINIMAX发布abab7-preview模型,数学编程能力不足但推理长文理解表现都不错?!

实测4:大海捞针测试:

长文本测试还要用到大海捞针测试,大海捞针测试能够测试模型的文档理解和分析能力。

使用工具:302.AI的聊天机器人

在共2万多字的《小王子》原文中分别在不同位置插入了以下三句话:

资讯丨MINIMAX发布abab7-preview模型,数学编程能力不足但推理长文理解表现都不错?!

提示词:请阅读文档后告诉我:制作完美披萨需要哪些秘密成分?

资讯丨MINIMAX发布abab7-preview模型,数学编程能力不足但推理长文理解表现都不错?!

分析:可以看到,答案是正确的。2万多字的文档难不倒abab7-preview模型。

实测5:编程测试

使用工具:302.AI的聊天机器人——Artifacts功能

提示词:用前端代码设计一个推箱子小游戏,将代码放在一起输出。

分析:每个模型生成的效果会给一次机会改进界面,以下显示的为最终效果:

claude-3.5-haiku:界面设计美观,生成的游戏能够直接操作开玩。

资讯丨MINIMAX发布abab7-preview模型,数学编程能力不足但推理长文理解表现都不错?!

Nova Pro:生成的界面比较简陋,虽然能够操作,但是可以发现得分等板块并不会根据游戏操作而实时变化的,总体来说不够完整

资讯丨MINIMAX发布abab7-preview模型,数学编程能力不足但推理长文理解表现都不错?!

abab7-preview:界面设计还算美观,但展示的为静止界面,游戏无法操作。

资讯丨MINIMAX发布abab7-preview模型,数学编程能力不足但推理长文理解表现都不错?!

> 总结

通过以上实测,可以初步得出以下结论:

逻辑常识测试:对于逻辑常识问题,三个模型的都能合理进行分析,但是分析最完整的模型不是abab7-preview,而是Nova Pro。

推理测试:面对逻辑推理能力测试,abab7-preview在回答的准确性和分析的深度上表现还不错。

数学测试:对于难度较高的数学题目abab7-preview在内的三个实测模型存在明显的不足。

长文本测试:而在长文本大海捞针测试中,abab7-preview能够快速而准确地从大量信息中提取出关键内容,显示出其在处理复杂文本方面的不错表现

编程测试:在编程测试中,abab7-preview虽然生成的界面美观度还不错,但是游戏无法操作,编程能力不足。

总的来说,abab7-preview作为国产模型,性价比还是挺高的,以上实测除了编程和数学测试的,其余测试表现都比claude-3.5-haiku更好,而且abab7-preview适合用于各种应用场景,包括但不限于长文本理解、复杂推理和逻辑分析等。根据MINIMAX官方表示,abab7正式版本目前在紧急筹备中,我们可以持续关注看看!

Like (0)
302.AI302.AI
Previous 2024 年 12 月 16 日 下午6:36
Next 2024 年 12 月 19 日 下午8:34

相关推荐

  • AI直接翻译PDF?又一解放生产力的神器来袭!

    近日,一款来自初创公司的识别神器Doc2X备受关注。小编为此也特意去了解了,发现非常有意思的是,为了让用户更直观的看到Doc2X的实力,Doc2X在官网中以文档的形式给大家展示了Doc2X与市场上各竞品的识别能力做对比分析。 竞品主要包括:mathpix、庖丁PDFlux、pix2text、合合信息TextIn、腾讯云大模型知识引擎文档解析。测评范围主要包括…

    2024 年 7 月 17 日
    51500
  • 中国专利数量远超其他国家,用户如何实现高效的专利搜索?

    7月初,世界知识产权组织(WIPO)发布了一份引人注目的报告。该报告揭示了:中国发明人申请的生成式人工智能专利数量不仅位居全球榜首,而且大幅领先于其他国家。 世界知识产权组织(WIPO)最新发布的《WIPO Patent Landscape Report on Generative AI》显示:在2014年至2023年的这一段将近10年的时间里,中国的生成式…

    2024 年 8 月 1 日
    31900
  • 资讯丨谷歌时隔一周发布的新模型gemini-exp-1121,实测竟发现模型能力出现了倒退?

    时隔gemini-exp-1114发布仅一周,谷歌DeepMind在11月21日再次发布实验AI模型gemini-exp-1121。根据官方介绍,gemini-exp-1121在编码、推理和视觉能力都有提升。 在gemini-exp-1121发布之后,它迅速赢得了Arena榜单的冠军宝座,根据测评结果显示,除了风格控制外,其他方面都位于第一。 但在发布gem…

    2024 年 12 月 3 日
    14500
  • 资讯丨302 AI上线简历制作工具,一款提升求职成功率的利器!

    在中国的求职市场中,有一个广为流传的词汇叫做“金三银四”。这个词语的意思是每年的三月和四月,是人才招聘的高峰期,同时也是求职者寻找工作机会的最佳时机。 求职者如果想要在“金三银四”这个时间里提升自己的求职成功率,首先需要提前准备自己的简历。简历作为求职的敲门砖,承载着求职者的职业经历、教育背景以及个人技能等关键信息。一个精心制作的简历能够有效吸引招聘官的注意…

    2025 年 1 月 6 日
    16000
  • 资讯丨xAI官宣Grok API开启公测,唯一模型grok-beta表现能否达到预期?

    11月6日,备受瞩目的2024年美国总统选举结果终于揭晓,马斯克公开支持的美国共和党总统候选人特朗普获得最终胜利。 作为特朗普的“榜一大哥”马斯克,是人工智能初创公司xAI的始人之一和主要投资者。在11月4日,xAI刚刚官宣Grok API正式开启公测。 根据xAI公司官方发布的文档,可以看到xAI的API目前只有一个模型——“grok-beta”。 从官方…

    2024 年 11 月 8 日
    17700

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注