Benchmark laboratory

AI到底能不能看懂火星文差评！看看哪个模型表现更好！ 大家都知道，在《歌手2024》播出的时候，13.8和13.11哪个大的问题难倒了不少AI模型。而最近，AI模型迎来了新一轮考验来了，起因是这样的，为了防止外国人通过翻译软件看懂原意，一些中国人在海外订酒店吃亏后，用火星文提醒同胞不要再来，而这些帖子被截图搬运到了国内的社交媒体平台后很快就火了，引发了不少网…

距离7月23日Llama 3.1发布才刚刚过去 2 个月，Meta公司在9月26日又官宣推出最新AI模型系列Llama 3.2，此次Llama 3.2系列包括四个版本：1B、3B、11B和90B。 Llama 3.2 1B和Llama 3.2 3B都是轻量级的模型，适合边缘和移动设备的轻量级纯文本模型。而Llama 3.2 11B和Llama 3.2 90B…

9月25日，Google旗下的Gemini 1.5系列模型迎来了最新版本的发布，分别是Gemini-1.5-Pro-002和Gemini-1.5-Flash-002两款模型。据了解，与之前的版本相比，Gemini-1.5-Pro-002 和 Gemini-1.5-Flash-002在数学、上下文和视觉方面的能力得到了显著提升。 根据官方数据显示，两款模型在M…

北京时间9月13日凌晨，OpenAI发布o1大模型，“草莓”终于现真身了，酝酿已久的“草莓”终于面世。 据了解，OpenAI o1模型经过强化学习训练可以执行复杂的推理，还能解决比以前更难的科学、编码和数学问题。官方称，OpenAI o1模型在美国数学奥林匹克 (AIME) 预选赛中跻身美国前 500 名学生之列，并在物理、生物和化学问题 (GPQA) 基准…

9月6日，AI写作初创公司HyperWrite发布了Reflection-Llama-3.1-70B模型。该模型基于Meta的Llama 3.1-70B Instruct，并使用原始的 Llama Chat 格式，确保了与现有工具和 pipeline 的兼容性。 在发布当天，HyperWrite 公司的 CEO Matt Shumer 在社交媒体平台发文表示…

8月29日，智谱AI在KDD国际数据挖掘与知识发现大会上发布了新一代基座模型，包括语言模型GLM-4-Plus、图像/视频理解模型GLM-4V-Plus等。 GLM-4-Plus 基座模型，通过多种方式构造出了海量高质量数据，并利用 PPO等多项技术，有效提升了模型推理、指令遵循等方面的表现，能够更好地反映人类偏好。据官方称，GLM-4-Plus在各项指标上…

不知不觉中，2024年的时光已悄然流逝了三分之二。 许多打工人和学生党即将迎来中秋和国庆两个假期。放假是件开心的事情，然而，有网友发现，今年的中秋国庆假期放假和调休时间安排颇为复杂，这一话题因此登上了社交平台热搜榜，引发了广泛关注，阅读量激增至4亿，讨论量也高达11.3万。 对于接下来从九月第二周开始到十月“上6休3上3休2上5休1上2休7再上5休1”的放假…

8月21日，由Ideogram团队倾力打造的创新型文本生成图像模型 Ideogram 2.0正式发布。 其实早在今年2月，Ideogram团队就发布了Ideogram模型1.0版本，但是其在AI生图领域并未引起太大波澜，但在这一次 Ideogram 2.0版本发布后，Ideogram官方直接在社交媒体平台自信宣称，这一版本比FLUX Pro和DALL·E3要…

8月初，中文多模态大模型SuperCLUE-V基准发布8月榜单，其中腾讯混元大模型斩获国内大模型排名第一。 测评涵盖了国内外最具代表性的12个多模态理解大模型，包含4个海外模型和8个国内代表性多模态模型，评估内容包含基础能力和应用能力，以开放式问题对多模态大模型进行评估。其中，腾讯混元大模型Hunyuan-Vision凭借其卓越的多模态基础能力和出色的应用能…

8月12日，ChatGPT官方账号在社交媒体平台发文称ChatGPT推出了新的GPT-4o模型，但同时也明确，这次推出的GPT-4o模型是对GPT-4o的改进，而不是新的前沿模型。而且，ChatGPT官方表示这次的更新“难以明确说明”。 然而，这一最新的模型ChatGPT-4o-latest在LMSYS的LLM竞技场排行榜中，已经以1314的综合分数超越曾经…