中文大模型多模态理解评测,腾讯混元大模型获榜单国内第一

8月初,中文多模态大模型SuperCLUE-V基准发布8月榜单,其中腾讯混元大模型斩获国内大模型排名第一。

测评涵盖了国内外最具代表性的12个多模态理解大模型,包含4个海外模型和8个国内代表性多模态模型,评估内容包含基础能力和应用能力,以开放式问题对多模态大模型进行评估。其中,腾讯混元大模型Hunyuan-Vision凭借其卓越的多模态基础能力和出色的应用能力,荣获了总分71.95的高分。

中文大模型多模态理解评测,腾讯混元大模型获榜单国内第一

这个榜单旨在为中文领域提供一个多模态大模型多维度能力评估参考,GPT-4o等国外模型仅作对比参考,不参与排名,虽然这次都还是被GPT-4o压过,但是可以看到差距缺少缩小了很多。

中文大模型多模态理解评测,腾讯混元大模型获榜单国内第一

SuperCLUE 评价称,在基础能力方面,国内大模型较海外模型仍有一定差距,尤其在细粒度视觉认知任务上,国内外最好模型有 5 分的差距,需要进一步对多模态深度认知能力做优化提升。

腾讯混元大模型(Tencent Hunyuan)是腾讯研发的一款模型,而这次拿到冠军宝座的Hunyuan-Vision也就是腾讯混元大模型的多模态版本,它能够处理文本、图像等多种模态的数据,具备强大的多模态理解和生成能力。

根据了解,腾讯云提供了腾讯混元大模型各版本的API包括上文提到的Hunyuan-Vision,但是其采用的是用户先使用然后在下个月的1-3号收到账单并进行支付的付费模式。这种付费模式需要用户跟踪和管理服务的账单,这可能会增加管理负担,同时缺乏灵活性,难以根据实际需求调整使用量。而 302.AI的API超市同样也提供了腾讯混元大模型各版本的API,且302.AI的API超市分类清晰,使开发者能快速找到所需的API。比如腾讯混元大模型,属于国产语言大模型,如图:

中文大模型多模态理解评测,腾讯混元大模型获榜单国内第一

更重要的是,302.AI采用的是按需付费的服务方式,按需付费模式使得费用更加透明,用户可以更容易地预测和规划预算,同时对于使用量波动较大的情况,按需付费能够更灵活地调整成本,降低不必要的开支,而且302.AI的API超市支持在线调试API,这样开发者可以立即看到API调用的结果,有助于快速发现和解决问题。

中文大模型多模态理解评测,腾讯混元大模型获榜单国内第一

此外,腾讯混元大模型中的不同版本各具特色,适用于多样化的使用场景。为了满足用户的这一需求,302.AI的聊天机器人特别提供了多种版本的聊天模型供用户选择,即使不熟悉使用API的用户,也能够根据自己的具体需求和使用场景,快速挑选出最适合的模型进行生成使用。举个例子,比如用户需要代码处理能力的场景,可以选择Hunyuan-Code模型,而需要处理文本、图像等多种模态数据的场景,则可以选择Hunyuan-Vision模型。

中文大模型多模态理解评测,腾讯混元大模型获榜单国内第一

最后,小编使用302.AI的模型竞技场来对各大模型进行实测,看看Hunyuan-Vision实力如何:

首先第一题,测试各大模型的基础认知能力,第一题属于基础题,三个模型GPT-4o、Qwen-VL-Max和Hunyuan-Vision都回答正确。

中文大模型多模态理解评测,腾讯混元大模型获榜单国内第一

第二题,测试数理逻辑分析-图表推理,Qwen-VL-Max模型回答错误,而GPT-4o和Hunyuan-Vision回答正确,其中Hunyuan-Vision不仅回答正确,还能够指出这是一张广州近10年常住人口走势图。

中文大模型多模态理解评测,腾讯混元大模型获榜单国内第一

最后一题:用笑话与互联网meme测试模型的应用能力,可以看到首先GPT-4o在识别meme图上的文字就错了,但总的来说解释大概正确,Qwen-VL-Max的解释就显得稍微有点敷衍,而Hunyuan-Vision的把图片中的所有元素都逐一进行解释且都正确,是三个模型中解释最全面的。

中文大模型多模态理解评测,腾讯混元大模型获榜单国内第一

当然,以上只是简单的测评,但是可以看到,Hunyuan-Vision在以上测试中的表现不错,能够在本次的中文多模态大模型SuperCLUE-V基准8月榜单获得第一,展示了Hunyuan-Vision在多模态理解任务上的强大实力,也进一步证明了国内AI模型在相关领域中的竞争力正在不断提升。

尽管此次中文多模态大模型SuperCLUE-V8月榜单中,GPT-4o等国外模型仅作对比参考不参与排名,但是我们可以看到,国内模型与国外模型的差距正在缩小,在人工智能领域,国内的技术研发和创新实力正在迅速崛起,逐渐走向与国际先进水平并驾齐驱的地位。展望未来我们也期待国内更多优秀的人工智能模型能够涌现,共同推动人工智能技术的不断发展和进步。

参考文章:https://baijiahao.baidu.com/s?id=1806505412798723809&wfr=spider&for=pc

Like (0)
302.AI302.AI
Previous 2024 年 8 月 23 日 下午2:38
Next 2024 年 8 月 26 日 下午6:08

相关推荐

  • Stable Diffusion原班人马打造FLUX.1模型,推出的三个版本有什么不同?

    就在不久前,Stable Diffusion开源图像模型推出后,在网络上引发了热烈的讨论和广泛关注。后来,Stable Diffusion 部分创始成员创建了新公司Black Forest Labs,8月1日,Black Forest Labs推出了新研发的图像生成模型FLUX.1 。 FLUX.1 拥有12B参数,是迄今为止参数最多图像生成模型之一。该模型…

    2024 年 8 月 13 日
    20900
  • 资讯丨Mistral AI推出多模态模型Pixtral Large并升级Mistral Large,实测结果让人眼前一亮?

    11月19日,Mistral AI宣布推出新视觉模型——Pixtral Large。 Pixtral Large是基于Mistral Large 2构建,具有124B开放权重的多模态模型,支持128K上下文窗口,能够理解文档、图表和自然图像的同时保持了 Mistral Large 2 领先的纯文本理解能力。 根据Mistral AI提供的Pixtral La…

    2024 年 11 月 21 日
    8600
  • 当提示词使用”过去时”,就能突破各AI模型的安全防线?

    近日,洛桑联邦理工学院的研究人员发现,当使用AI模型的时候,只要在提示词中把时间设定成过去,就能突破大模型的安全防线。原本只有1%的攻击成功率飙升至88%,几乎达到了“有求必应”的境界。这项发现不仅在英文环境下有效,在中文语境中同样适用,让网友们惊叹于破解大模型漏洞的简便性。 实验中,研究人员从JBB-Behaviors数据集中挑选了100个有害行为,通过将…

    2024 年 8 月 1 日
    22700
  • Ideogram推出2.0版本,连Midjourney都感受到了压力?看看到底有多厉害?!

    8月21日,由Ideogram团队倾力打造的创新型文本生成图像模型 Ideogram 2.0正式发布。 其实早在今年2月,Ideogram团队就发布了Ideogram模型1.0版本,但是其在AI生图领域并未引起太大波澜,但在这一次 Ideogram 2.0版本发布后,Ideogram官方直接在社交媒体平台自信宣称,这一版本比FLUX Pro和DALL·E3要…

    2024 年 8 月 26 日
    24100
  • 最近爆火的AI播客工具,302.AI竟然开源了!

    最近,随着NotebookLM的爆火,AI播客生成领域迎来了前所未有的热闹。 AI播客生成的兴起并不是偶然的,在信息爆炸的时代,用户往往会被海量的内容所淹没,很难去有效筛选和吸收有价值的内容,从而导致时间和精力的浪费。 而AI播客的出现改变了这一现状,比如曾经需要用3小时的时间才能通读一篇长论文才能提炼有效的关键信息,现在只需要3分钟,获取信息的过程也不再受…

    2024 年 10 月 29 日
    17300

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注