资讯丨302.AI已支持Anthropic最新模型Claude 3.5 Haiku,与其他模型对比表现如何?

11月5日,Anthropic在社交媒体平台宣布Claude 3.5 Haiku可以通过API访问。Claude 3.5 Haiku是Anthropic公司在10月22日发布的新模型,在许多评估中的性能与 Claude 3 Opus不相上下,而成本和速度却与上一代Haiku相当。

资讯丨302.AI已支持Anthropic最新模型Claude 3.5 Haiku,与其他模型对比表现如何?

根据官方介绍,Claude 3.5 Haiku 在各种编码、工具使用和推理任务中提供了强大的性能和速度。它在 SWE-bench Verified 上的得分为 40.6%,优于许多使用公开可用的最先进模型的代理——包括原始版本的Claude 3.5 Sonnet和GPT-4o。

资讯丨302.AI已支持Anthropic最新模型Claude 3.5 Haiku,与其他模型对比表现如何?

虽然性能有了提升,但和Claude 3 Haiku相比,Claude 3.5 Haike在输入输出令牌的价格上足足涨四倍之多:

资讯丨302.AI已支持Anthropic最新模型Claude 3.5 Haiku,与其他模型对比表现如何?

在302.AI上使用

但不管怎样,我们抱着好奇的心态,还是要探一下这个模型到底如何!为了满足用户需求,302.AI的聊天机器人以及API超市在第一时间更新了Claude 3.5 Haiku模型。

如果想要更方便、更快速地使用这一模型可以选择聊天机器人。如果需要快速获得Claude 3.5 Haiku模型的API接入方式,可以进入超市,302.AI的API超市为开发者和企业打造了一个高效、便捷的AI应用开发与部署平台,轻松实现AI技术的快速落地。

此外,302.AI提供按需付费的服务方式,能够让用户更好减少资源消耗和减低开发成本。以下分别是聊天机器人和API的获取方式:

聊天机器人进入302.AI找到聊天机器人——点击模型——选择Claude 3.5 Haiku模型使用:

资讯丨302.AI已支持Anthropic最新模型Claude 3.5 Haiku,与其他模型对比表现如何?

API获取:找到API超市——语言大模型——选择Anthropic:

资讯丨302.AI已支持Anthropic最新模型Claude 3.5 Haiku,与其他模型对比表现如何?

资讯丨302.AI已支持Anthropic最新模型Claude 3.5 Haiku,与其他模型对比表现如何?

但为了更直观让大家了解Claude 3.5 Haiku模型,接下来会使用302.AI的API超市、模型竞技场、网页生成器去测试Claude 3.5 Haiku的响应速度、推理能力、编程能力三方面的表现。

多模型对比:

1、响应速度

对比模型有:claude-3.5-haiku-20241022、claude-3-opus、claude-3-haiku

使用工具:302.AI的API超市—在线调试

提示词为什么我爸妈结婚的时候没邀请我参加婚礼?

可以看到,速度最快的是claude-3.5-haiku-20241022,速度为3.57s,其次是claude-3-haiku,速度为3.8s,最慢的是claude-3-opus,速度是17.63s。果然如Anthropic宣传那样,对于需要快速响应的场景,claude-3.5-haiku-20241022无疑是一个优选。

资讯丨302.AI已支持Anthropic最新模型Claude 3.5 Haiku,与其他模型对比表现如何?

2、推理能力

对比模型有:gpt-4o、claude-3.5-haiku-20241022、claude-3-opus、claude-3-haiku

使用工具:302.AI的模型竞技场

提示词:假设:2#3=5,3#5=7,5#7=11。请问:11#13=?

首先看下GPT-4o的答案,答案是正确的,整个回答也是有逻辑条理的。

资讯丨302.AI已支持Anthropic最新模型Claude 3.5 Haiku,与其他模型对比表现如何?

先来看下claude-3-haiku的回答,从5#7=11的差值为6就出现了错误,因此整个递增规律其实是不存在的。

资讯丨302.AI已支持Anthropic最新模型Claude 3.5 Haiku,与其他模型对比表现如何?

接着是今天的主角claude-3.5-haiku-20241022,没想到居然和claude-3-haiku一样翻车了,计算出3+5=7以及5+7=11的情况,明显出现了“模型幻觉”,导致最后得出的规律也是错误的。

资讯丨302.AI已支持Anthropic最新模型Claude 3.5 Haiku,与其他模型对比表现如何?

而同为Anthropic公司的老大哥claude-3-opus完全没有问题,回答正确逻辑也清晰。

资讯丨302.AI已支持Anthropic最新模型Claude 3.5 Haiku,与其他模型对比表现如何?

3、编程能力:

对比模型有:claude-3.5-haiku-20241022、claude-3-haiku

使用工具:302.AI的网页生成器2.0

提示词:请帮我制作一个浪漫之心

先来看下claude-3-haiku生成的效果,claude-3-haiku生成的是一个粉色为主色调的页面并带有一点爱心元素,但我本意是希望能够生成一个爱心,这也可以看出claude-3-haiku在编程时对提示词的理解不够:资讯丨302.AI已支持Anthropic最新模型Claude 3.5 Haiku,与其他模型对比表现如何?

网页生成效果预览链接:https://jgyc-coder.302.ai/zh/share/2zaHKzEkTWFXWHFa1QvCx?lang=zh

claude-3.5-haiku-20241022生成的效果非常好,claude-3.5-haiku完美理解并消化了提示词生成的是一个可完整的爱心,可以看出claude-3.5-haiku出色的指令理解能力与编程能力:

资讯丨302.AI已支持Anthropic最新模型Claude 3.5 Haiku,与其他模型对比表现如何?

网页生成效果预览链接:https://ac0n-coder.302.ai/zh/share/DtecoyQhz9Iz3WY9yse8a?lang=z

总结

虽然Claude 3.5 Haiku在响应速度和编程能力方面表现出色,显著优于许多竞争对手,但在推理能力的表现上却存在短板。通过302.AI的模型竞技场对比测试,我们可以明显看到,Claude 3.5 Haiku在处理较为复杂的推理问题时容易出现错误,甚至产生“模型幻觉”。

另外,根据官方了解到,Claude 3.5 Haiku目前是作为纯文本模型,之后会将提供图像输入功能,到时价格或许会再有浮动。

后续302.AI也会给大家及时更新Claude 3.5 Haiku的最新动态和功能,与大家一起见证AI领域的每一次进步和创新。

参考文章:

https://www.anthropic.com/news/3-5-models-and-computer-use

Like (0)
302.AI302.AI
Previous 2024 年 11 月 5 日 下午6:16
Next 2024 年 11 月 8 日 下午6:07

相关推荐

  • AI视力考验:各AI模型的视觉理解能力如何?

    近日,行业内有不少新模型涌现出大众的面前,我们会发现,有的模型会在其官方宣传中提到“多模态”一词,比如大家熟知的GPT-4o、Gemini 1.5 Pro等,在发布时都被定义为“原生多模态”,这些多模态LLM在相关的介绍中,都用到了“视觉能力”、“视觉理解”这样的表述。 简单的理解,就是这些模型能够“看得见,并看得懂”,仿佛人的眼睛。为此,很多人…

    2024 年 7 月 25 日
    30900
  • 资讯丨302.AI正式上线客户端!三个版本可供选择

    随着技术的发展,AI正一点一点融入到我们的日常和生活中,成为我们工作和生活的重要辅助工具。为了给用户带来多样的AI服务体验,11月14日,302.AI正式上线桌面客户端,并提供了以下三个版本给用户选择: 主账户版:支持Windows、Mac系统 子账户版:支持Windows、Mac系统 极简版:仅支持Mac系统 版本介绍: 主账号版: (展示的界面以Wind…

    2024 年 11 月 14 日
    77100
  • 资讯丨“Thinking Claude”prompt真的这么神?302带你实测揭秘看看

    最近,又一个prompt在网上火了起来,这一prompt名为“ Thinking Claude”,有网友称它为Claude3.5的神级prompt,而更让人意想不到的的是,这个prompt背后的作者,居然是一个十七岁的少年! “Thinking Claude”的核心在于它引导Claude进行一种更为“人性化”的思考方式,强调思维过程的自然流动,而非简单的结构…

    2024 年 11 月 15 日
    43200
  • 可灵AI全面开放,引领视频创作新时代

    7月下旬,可灵AI(Kling AI)宣布全面开放,曾经在国内外内测名额“一号难求”的可灵成为了历史。可灵AI是由快手科技自研的视频生成大模型,能够根据文本提示生成长达2分钟、帧率为30fps的高质量视频,支持1080p分辨率,并支持多种宽高比,陆续升级推出了图生视频等功能。 从上线到全面开放,可灵历经了一个多月的时间: 6月10日,快手科技宣布推出了可灵大…

    2024 年 8 月 6 日
    30000
  • 告别繁琐配置,来302.AI一键部署GraphRAG

    您是否遇到过这样的问题?大语言模型回答答非所问,或者直接在胡说八道。这种情况一般是因为大语言模型产生了幻觉。在开发和实际应用中,幻觉问题是一个常见且严重的问题,因为幻觉的存在,会导致回答的可信度大大降低。 幻觉出现的原因通常是模型对于某些特定领域或最新信息缺乏了解的情况下,而RAG(Retrieval-Augmented Generation)技术通过结合检…

    2024 年 10 月 23 日
    32600

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注