资讯丨“Thinking Claude”prompt真的这么神?302带你实测揭秘看看

最近,又一个prompt在网上火了起来,这一prompt名为“ Thinking Claude”,有网友称它为Claude3.5的神级prompt,而更让人意想不到的的是,这个prompt背后的作者,居然是一个十七岁的少年!

资讯丨“Thinking Claude”prompt真的这么神?302带你实测揭秘看看

“Thinking Claude”的核心在于它引导Claude进行一种更为“人性化”的思考方式,强调思维过程的自然流动,而非简单的结构化回答。

据网友称,“Thinking Claude”可以令Claude 3.5的智能思维能力达到了一个新的高峰,使其表现堪比更先进的o1模型,简单地理解就是:Claude3.5+神级prompt=满血o1。

那到底是不是真的这么强呢?下面我们通过302.AI来实测一下。

使用到的工具

为了实测更高效、便捷,我们将使用到302.AI的聊天机器人和AI提示词专家,详细使用步骤如下:

AI提示词专家

通过使用302.AI的AI提示词专家,用户无需深入了解复杂的提示词设计技巧就可以生成有效的提示词,非常方便好用。

1、进入302.AI后,点击左侧【使用工具】——【工具超市】——【信息处理】——【AI提示词专家】;

(PS:如果想了解更多关于302.AI的AI提示词工具,可以翻阅AI教程分类往期作品)

资讯丨“Thinking Claude”prompt真的这么神?302带你实测揭秘看看

2、进入AI提示词专家后可以看到,有多种提示词结构选择,今天我们需要选择自定义提示词;

资讯丨“Thinking Claude”prompt真的这么神?302带你实测揭秘看看

3、接下来点击【编辑提示词优化指令】;

资讯丨“Thinking Claude”prompt真的这么神?302带你实测揭秘看看

把prompt粘贴到框内,点击【保存】;

原prompt地址:https://github.com/richards199999/Thinking-Claude

资讯丨“Thinking Claude”prompt真的这么神?302带你实测揭秘看看

4、将prompt设置好后,即可在输入框中输入任务指令——点击【生成】,然后302.AI会根据输入的任务指令和提供的prompt结合快速生成新的prompt,最后可以直接复制提示词到聊天机器人使用;

资讯丨“Thinking Claude”prompt真的这么神?302带你实测揭秘看看

聊天机器人

1、进入302.AI点击【使用机器人】——【聊天机器人】——模型——选择模型——点击【确定】;

资讯丨“Thinking Claude”prompt真的这么神?302带你实测揭秘看看

2、创建聊天机器人后进入,点击设置——勾选实时预览功能(不限于claude模型,实测中就使用了o1作为对比);

资讯丨“Thinking Claude”prompt真的这么神?302带你实测揭秘看看

实测对比

为了实测结果更加客观全面,分为三组对比:

1、模型:claude-3.5-sonnet-20241022 不使用“Thinking Claude”提示词;

2、模型:claude-3.5-sonnet-20241022 使用“Thinking Claude”提示词;

3、模型:o1-preview 不使用“Thinking Claude”提示词

以下实测任务从简单到复杂,提示词从简略到详细:

实测1

指令描述:使用React做一个贪吃蛇游戏

1、来看下没有使用“Thinking Claude”提示词的claude-3.5-sonnet生成的效果,可以看到生成的贪吃蛇游戏是不能控制方向,也没有开始结束等按钮控制。

资讯丨“Thinking Claude”prompt真的这么神?302带你实测揭秘看看

2、下面是使用了“Thinking Claude”提示词的claude-3.5-sonnet生成的效果,首先是可以通过键盘控制蛇的方向的,游戏上方显示了实时分数,同时也设置了开始和重新开始按钮,游戏相对比较完整。

资讯丨“Thinking Claude”prompt真的这么神?302带你实测揭秘看看

3、最后是o1-preview模型不使用“Thinking Claude”提示词的效果,首先可以看到生成的游戏是可以移动的,但无开始结束等按钮,也没有实时显示分数,如果游戏结束,得分会以页面弹窗的形式出现。

资讯丨“Thinking Claude”prompt真的这么神?302带你实测揭秘看看

实测2

指令描述:

资讯丨“Thinking Claude”prompt真的这么神?302带你实测揭秘看看

1、没有使用“Thinking Claude”提示词的claude-3.5-sonnet生成的效果:生成的游戏是通过点击切换有颜色的格子实现的,页面上方显示实时分数,但是在消除了颜色后,整个网格中相同的颜色都会改变,这不太符合逻辑。

资讯丨“Thinking Claude”prompt真的这么神?302带你实测揭秘看看

2、使用了“Thinking Claude”提示词的claude-3.5-sonnet生成的效果:操作方式同样是点击切换格子,但是有个明显的bug,页面写着游戏说明:“单击两个相邻的块来交换它们。匹配3个或更多相同颜色的方块得分!”然而初始效果中有多个三个相同颜色相邻的格子;

资讯丨“Thinking Claude”prompt真的这么神?302带你实测揭秘看看

3、最后是o1-preview模型的不使用“Thinking Claude”提示词的效果:与以上效果不同,o1是通过鼠标拖动来切换格子,如果消除格子后,只会改变消除部分的颜色,整个游戏逻辑是最合理的。

资讯丨“Thinking Claude”prompt真的这么神?302带你实测揭秘看看

实测3

指令描述:

资讯丨“Thinking Claude”prompt真的这么神?302带你实测揭秘看看

1、没有使用“Thinking Claude”提示词claude-3.5-sonnet模型生成的效果:可以看到点击开始后,页面出现了各种牌面,但是点击牌面是没有任何反应的,总之,和真正的斗地主游戏效果差距比较远。

资讯丨“Thinking Claude”prompt真的这么神?302带你实测揭秘看看

2、使用了“Thinking Claude”提示词的claude-3.5-sonnet生成的效果:大致和以上的效果一样,牌面是以英文显示的;

资讯丨“Thinking Claude”prompt真的这么神?302带你实测揭秘看看

3、o1-preview模型的效果:与以上效果大差不差,都没有实现真正的斗地主游戏效果;

资讯丨“Thinking Claude”prompt真的这么神?302带你实测揭秘看看

总结

通过以上三个代码生成的实测,可以发现“Thinking Claude”这一提示词并没有这么“神”。以实测1为例,在用户提示很简洁的情况下,通过逐步引导和思考完善,使用该提示词确实能够产生较好的效果。但用户提示很详细时,使用这一提示词反而可能导致效果适得其反,如实测2所展示的那样。而对于更为复杂的任务,即便使用了“Thinking Claude”提示词,依然难以实现目标,实测3便是一个例证。

借用最近Anthropic专访里的一句话:提示词工程真正重要的场景是在努力榨取模型最后2%的性能

所以,在基座模型不变的情况下,优秀的提示词只是锦上添花,而无法达到一个质的飞跃。所以希望大家理性看待所有夸张的言论,亲手实践,眼见为实。

Like (0)
302.AI302.AI
Previous 2024 年 11 月 14 日 下午7:44
Next 2024 年 11 月 18 日 下午6:58

相关推荐

  • 资讯丨DeepSeek-VL2发布,实测看图说话、文字识别和图形推理能力如何?

    12月13日,DeepSeek 官方发布博文,宣布开源 DeepSeek-VL2 模型。 据了解,在模型架构上,DeepSeek-VL2 视觉部分使用切图策略支持动态分辨率图像,语言部分采用 MoE 架构低成本高性能, MoE是一种混合专家(Mixture-of-Experts)架构,旨在提高模型的性能和效率。 在官方给出的测评结果中显示,DeepSeek-…

    2024 年 12 月 23 日
    1.5K00
  • 资讯丨谷歌突袭发布新模型Gemini 2.0 Flash实验版,原来这才是性价比之王?!

    12月12日的凌晨,当OpenAI的“12天连续发布”活动如火如荼地进行到第五天时,谷歌在毫无预兆的情况下,带来了其新系列大模型:Gemini 2.0,而Gemini 2.0 Flash Exp,则是Gemini 2.0 系列模型中的第一个模型。 虽然没有找到准确的参数,但据了解,Flash是Gemini模型序列中,除了专为端侧开发的Nano模型外,参数最小…

    2024 年 12 月 12 日
    25100
  • Claude新功能?小白如何体验交互式写编程?

    Anthropic公司在今年3月发布了新模型Claude 3后,同样在今年的6月21日又再次官宣上新Claude 3.5 Sonnet模型,这中间仅仅隔了三个月左右的时间! 但是就今天的主角并不是Claude 3.5 Sonnet,而是与Claude 3.5 Sonnet一同官宣推出的新功能——Artifacts。 Anthropic PBC,是一家美国的人…

    2024 年 7 月 12 日
    46600
  • AI网页生成器,提升网页开发效率的新利器

    早前,一个“资深程序员已经用ai开始干活了”的热搜话题引发了广大网友的关注,截至目前这一话题阅读量已经破亿。 在这一话题下,引发了网友关于AI技术与编程工作关系的深入讨论,甚至有网友发出疑问”AI发展在未来是否会取代人类的工作岗位”。实际上,不仅仅是程序员,无论是在职场还是日常生活中,AI工具更多地是作为一个强大的辅助手段,帮助我们快速实现想法、…

    2024 年 10 月 9 日
    47500
  • 资讯丨无需再死记硬背Excel公式和函数,302 AI Excel工具帮你解放大脑!

    要说一年中使用Excel表格最多的时候,一定是在季度末或者年度末。这两个时间节点是企业和个人在工作中进行数据整理和分析的关键时刻。在这个阶段,许多人需要对过去一段时间的工作数据进行系统性的整理。然而,对于那些不常使用Excel的人来说,面对复杂的表格和各种公式,往往会感到无从下手,最后只能无奈花费大量时间重新在网络上搜索相关内容学习。 但随着AI技术的发展,…

    2025 年 1 月 3 日
    24600

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注