资讯丨 Qwen团队推出的实验模型QwQ-32B-Preview能媲美o1?来实测看看表现

11月28日,由Qwen团队推出了实验性研究模型QwQ-32B-Preview这一模型专注于增强AI推理能力,同时在数学和编程方面表现也十分出色

资讯丨 Qwen团队推出的实验模型QwQ-32B-Preview能媲美o1?来实测看看表现

阿里云通义千问团队研究发现,当模型有足够的时间思考、质疑和反思时,其对数学和编程的理解就会深化,基于此QwQ取得了解决复杂问题的突破性进展,包括:

1、在考察科学问题解决能力的GPQA评测集上,QwQ获得65.2%的准确率,显示出其具备研究生水平的科学推理能力;

2、在涵盖综合数学主题的AIME评测中,QwQ以50%的胜率证明其拥有解决数学问题的丰富技能;

3、在全面考察数学解题能力的MATH-500评测中,QwQ斩获90.6%的高分,超越o1-preview和o1-mini;

4、在评估高难度代码生成的LiveCodeBench评测中,QwQ答对一半的题,验证了其实际编程场景中的出色表现。

资讯丨 Qwen团队推出的实验模型QwQ-32B-Preview能媲美o1?来实测看看表现

> 在302.AI获取:

302.AI迅速跟进消息,在第一时间更新支持了QwQ-32B-Preview模型,用户可以在通过302.AI的聊天机器人直接使用QwQ-32B-Preview或者API超市获取模型的API:

聊天机器人:

登录进入302.AI——点击【使用机器人】——【聊天机器人】——模型下滑到开源模型选择【QwQ-32B-Preview】。

资讯丨 Qwen团队推出的实验模型QwQ-32B-Preview能媲美o1?来实测看看表现

进入聊天机器人后,点击页面左下角的设置可以打开实时预览功能:

资讯丨 Qwen团队推出的实验模型QwQ-32B-Preview能媲美o1?来实测看看表现

API超市:

进入302.AI后——点击【使用API】——【API超市】——【语言大模型】——【开源模型】。

资讯丨 Qwen团队推出的实验模型QwQ-32B-Preview能媲美o1?来实测看看表现

下滑可以看到已经提供了QwQ-32B-Preview模型的API,大家可以根据需求选择【查看文档】快速接入API或者选择【在线体验】测试模型的参数。

资讯丨 Qwen团队推出的实验模型QwQ-32B-Preview能媲美o1?来实测看看表现

> 实测对比:

根据官方提供的基准测试结果,QwQ-32B-Preview在推理、数学、编程方面表现都不错,接下来,甚至超越了OpenAI的o1-Preview模型,下面就通过302.AI实测看看是否真的如此。

推理测试:

对比模型:o1-mini、claude-3.5-sonnet-20241022、QwQ-32B-Preview

使用工具:302.AI的模型竞技场

提示词:房子里有五个人,A、B、C、D和E,A正在和B看电视,D在睡觉,E在打乒乓球,请问C在做什么?

分析:我们从题目中可以得出,房子里只有五个人,而E在打乒乓球,我们都知道乒乓球并不能一个人进行,因此可以推断C是在和E打乒乓球。

o1-mini:回答完全正确;

claude-3.5-sonnet:非常诚实的表示信息不足,无法确定;

QwQ-32B-Preview:经过一段篇幅很长的自我思考后,给出了一个和claude一样的答案:信息不足,无法确定。

资讯丨 Qwen团队推出的实验模型QwQ-32B-Preview能媲美o1?来实测看看表现

数学测试:

对比模型:o1-preview、claude-3.5-sonnet-20241022、QwQ-32B-Preview

使用工具:302.AI的模型竞技场

题目:资讯丨 Qwen团队推出的实验模型QwQ-32B-Preview能媲美o1?来实测看看表现

分析:这一题是来自2024年AIME数学竞赛的题目,先说下正确答案是236。因为答案较长,以下结果也是以动图的方式给大家展示。

o1-preview:回答正确

QwQ-32B-Preview:回答正确

claude-3.5-sonnet:回答错误

通过对比发现,同样回答正确的情况下,QwQ-32B-Preview的整个回答篇幅冗长,没有o1-preview的答案简洁清晰。

资讯丨 Qwen团队推出的实验模型QwQ-32B-Preview能媲美o1?来实测看看表现

编程测试:

对比模型:claude-3.5-sonnet-20241022、QwQ-32B-Preview

使用工具:302.AI聊天机器人

提示词:

资讯丨 Qwen团队推出的实验模型QwQ-32B-Preview能媲美o1?来实测看看表现

分析:

claude-3.5-sonnet:基本把提出的需求功能都实现了,且整个页面很美观

QwQ-32B-Preview:生成的代码经过多次调整,代码仍然在关键部分有遗漏,无法运行

资讯丨 Qwen团队推出的实验模型QwQ-32B-Preview能媲美o1?来实测看看表现

claude-3.5-sonnet

资讯丨 Qwen团队推出的实验模型QwQ-32B-Preview能媲美o1?来实测看看表现

QwQ-32B-Preview

> 总结

通过以上实测,可初步得出以下结论:

推理测试:在推理测试中,QwQ-32B-Preview虽然展示了详细的思考过程,但是最后却未能回答正确题目,在推理能力上还有进步的空间

数学测试:在数学测试中QwQ-32B-Preview回答正确了题目,尽管与o1-preview相比,回答的简洁性和易读性稍有欠缺,但最终给出的正确答案证明了其在解题上能力还是比较出色的。

编程测试:而在最后的编程测试中,同样的提示词下,claude-3.5-sonnet生成的代码能够直接运行预览效果,而QwQ-32B-Preview生成的代码经过调整后仍无法预览出最终效果,这也显示出了在编程方面,QwQ-32B-Preview仍有不足

综上所述,尽管QwQ-32B-Preview的参数只有32B,但其数学解题能力上非常出色,几乎可以和o1-preview媲美,不过其答案的易读性和简洁性希望能够进一步改进。最后,在推理以及编程方面,QwQ-32B-Preview还没有达到官方宣传的效果,期待后续能够改进!

Like (0)
302.AI302.AI
Previous 2024 年 11 月 29 日 上午10:16
Next 2024 年 12 月 3 日 下午7:38

相关推荐

  • 资讯丨在302.AI实测对比OpenAI o1 完整版,到底是王者还是青铜?!

    12月初,OpenAI 开启了为期十二天的直播活动。而在直播的首日,OpenAI带来了推理大模型o1的完整版!据了解,o1 完整版在数学和代码能力上都有了显著提升,推理速度比之前的preview版本快了60%,并且支持多模态! 在高难度数学题(AIME 2024)、编程能力(CodeForces)、科学问题(GPQA Diamond)等基准测试中,o1 完整…

    2024 年 12 月 11 日
    9100
  • Ideogram推出2.0版本,连Midjourney都感受到了压力?看看到底有多厉害?!

    8月21日,由Ideogram团队倾力打造的创新型文本生成图像模型 Ideogram 2.0正式发布。 其实早在今年2月,Ideogram团队就发布了Ideogram模型1.0版本,但是其在AI生图领域并未引起太大波澜,但在这一次 Ideogram 2.0版本发布后,Ideogram官方直接在社交媒体平台自信宣称,这一版本比FLUX Pro和DALL·E3要…

    2024 年 8 月 26 日
    30200
  • OpenAI推出meta-prompt提示词优化功能,提升AI互动精准度!

    据了解, OpenAI在10月11日更新了提示词优化功能 Playgound,新增引入“元提示”(meta-prompt)工具。“元提示”(meta-prompt)工具主要帮助用户更高效地创建、改进针对大型语言模型(LLMs)的提示,节省开发高质量 AI 提示的时间。 OpenAI 表示,“元提示”结合了实际应用中的最佳实践和经验,旨在为用户提供快速的起点,…

    2024 年 10 月 15 日
    26800
  • Stable Diffusion原班人马打造FLUX.1模型,推出的三个版本有什么不同?

    就在不久前,Stable Diffusion开源图像模型推出后,在网络上引发了热烈的讨论和广泛关注。后来,Stable Diffusion 部分创始成员创建了新公司Black Forest Labs,8月1日,Black Forest Labs推出了新研发的图像生成模型FLUX.1 。 FLUX.1 拥有12B参数,是迄今为止参数最多图像生成模型之一。该模型…

    2024 年 8 月 13 日
    25100
  • 告别繁琐配置,来302.AI一键部署GraphRAG

    您是否遇到过这样的问题?大语言模型回答答非所问,或者直接在胡说八道。这种情况一般是因为大语言模型产生了幻觉。在开发和实际应用中,幻觉问题是一个常见且严重的问题,因为幻觉的存在,会导致回答的可信度大大降低。 幻觉出现的原因通常是模型对于某些特定领域或最新信息缺乏了解的情况下,而RAG(Retrieval-Augmented Generation)技术通过结合检…

    2024 年 10 月 23 日
    23600

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注