跳到正文

评测基准

模型到底谁强:Benchmark 成绩、评测方法论争议与排行榜变化的持续记录。

18 条精选近 30 天 15条共收录 132条

更新

评测基准的精选

今天10月17日周六
  1. The Verge · AI77

    一周使用 Nvidia RTX Spark 笔记本电脑:性能优势与实际取舍

    The Verge 的三位评测人员花了一周测试五款 Nvidia RTX Spark 笔记本电脑,发现它们图形性能出色,Windows on Arm 应用总体上也能正常使用,但价格高昂,CPU 性能弱于 Apple 的竞品,而且运行本地 AI 工作负载要求很高。Sean Hollister 的 Asus ProArt P16 在日常工作中续航约 5 小时至 5 小时 40 分钟。他们进行本地 AI 实验时遇到了明显的电量消耗、发热、响应缓慢和结果不稳定等问题,尽管这些配置提供了最高 128GB 的统一内存。

    推荐理由:这些实测对比展示了大容量统一内存和出色图形性能在本地 AI 工作负载、电池续航和软件兼容性方面带来的日常取舍。

10月16日周五
  1. The Decoder78

    Google 的 Gemini 4 Argon 比数月来任何一款 Google 模型都更接近 AI 前沿

    Google DeepMind 的 Gemini 4 Argon 使用 Provider Adapter Harness 得分 97.5%,完成 ARC-AGI-3 测试,成本为 4,800 美元,低于 GPT-6 Astra 的 99.9%。在 Standard Harness 的低推理设置下,其得分降至 49.8%;由于 API 问题,测试未能完成所有游戏。Epoch AI 给 Argon 评定了 165 个 ECI 积分,与 Opus 5.5 和 GPT-6 Astra 相近,不过早期估算将其列为数学能力第八、软件工程能力第六。

    推荐理由:这一比较显示,测试环境会如何改变基准排名,有助于理解 Argon 与领先模型的接近程度,同时也能看到它在数学和软件工程方面较弱的表现。

  2. Aravind Srinivas · X70

    Perplexity 接入 Gemini 4 Argon,称其在 WANDR 基准测试中创下新高

    Aravind Srinivas 表示,Gemini 4 Argon 在 Wide-And-Deep-Research(WANDR)基准测试中创下新的 SoTA,目前已向所有 Perplexity 用户开放,可用于快速搜索和 Computer(智能体)模式。https://t.co/0U671BhbMj 被引用的 @perplexity_ai 公告称,该功能面向 Pro 和 Max 订阅用户开放。https://t.co/n1TyI9RhBX

    推荐理由:该帖称快速搜索和 Computer 模式均可使用,但其更广泛的开放范围说法,与被引用公告中仅限 Pro 和 Max 订阅用户的说法不同。

  3. Artificial Analysis · X79

    Meta 发布 Muse Spark Open,在 Artificial Analysis Intelligence Index 上获得 39 分

    Meta 发布了 Muse Spark Open,这是一个 816B(42B 激活参数)的开放权重模型。Artificial Analysis 报告称,该模型在其 Intelligence Index 上得分为 39,使其成为美国排名第一的开放权重模型。 Muse Spark Open(xhigh)的得分比 Muse Glimmer(high,17 分)高 22 分。Muse Glimmer 是 Meta 的 30B 稠密开放权重模型。https://t.co/jf31mQNINe

    推荐理由:这一比较显示,Muse Spark Open 在同一智能指数上的得分比 Muse Glimmer 高 22 分,为 Meta 开放权重模型之间所报告的能力差距提供了具体参照。

  4. François Chollet · X81

    Chollet 比较 Gemini 4 Argon 与 Astra 在 ARC-AGI-3 上的表现

    François Chollet 表示,Argon 在 ARC-AGI-3 上的表现特征与 Astra 相似,并补充说 Google 已重返前沿。https://t.co/a6GGEsMN4A 被引用的 ARC Prize 帖子报告了 Gemini 4 Argon 经验证的 ARC-AGI-3 结果:使用提供方适配器测试框架时为 97.5%、$4.8K,使用标准测试框架时为 49.8%、$5.8K;此外,在 ARC-AGI-2 上为 91.3%、$0.32/task,在 ARC-AGI-1 上为 98.5%、$0.16/task。https://t.co/8siwgfBJcr

    推荐理由:报告的 ARC-AGI-3 分数区分了提供方适配器测试框架和标准测试框架的结果,为 Chollet 将 Argon 与 Astra 进行比较以及他对 Google 前沿地位的评估提供了背景。

10月15日周四
  1. The Decoder81

    GPT-6-Astra 每题花费 2.40 美元,解决了 50 道物理研究问题中的 49 道

    GPT-6-Astra 在 OpenAI 的 Codex 环境中运行,未获得人类提示,解决了 TheoPhysEval 涵盖十一个理论物理子领域的 50 道题中的 49 道,总花费略低于 116 美元。Anthropic 的 Opus 5.5 得分为 92%,而两款模型在无法访问互联网时都达到了 92%。研究人员强调,该基准测试的是运用已知方法进行计算的能力;而选择有前景的研究问题,对当前的智能体来说仍是另一项挑战。

    推荐理由:该基准区分了完成具体物理计算的熟练程度与选择有价值研究问题的能力,厘清了高分实际衡量的是科学工作中的哪些部分。

10月14日周三
  1. Artificial Analysis · X78

    Fish Audio 的 Drama 3 Preview 在 Artificial Analysis TTS 排名中领先开放权重模型

    Artificial Analysis 报告称,Fish Audio 的 Drama 3 Preview 在其全部三个文本转语音排行榜中均位列开放权重模型第 1,并在所有模型的发音稳健性排名中领先。其发音稳健性得分为 93.2%,高于 Eleven v4 的 91.7% 和 Eleven v4 Turbo 的 90.1%;在 Provider Voice 中排名第 10,在 Controlled Voice 中排名第 14。其权重可在 Hugging Face 上获取,遵循 Fish Audio Community License;Fish Audio API 的价格为每 100 万字符 15 美元。

    推荐理由:该比较将发音稳健性与语音偏好排名区分开来,展示了 Drama 3 Preview 在一项指标上的领先优势与其在其他排名中的位置有何不同。

  2. Artificial Analysis · X87

    Gemini 4 Argon 达到 GA,在 Artificial Analysis 智能指数上追平 GPT-6 Astra

    Artificial Analysis 报告称,Gemini 4 Argon 现已达到 GA,在其智能指数上的表现追平 GPT-6 Astra;截至 11 月 30 日,在折扣定价下,每项任务的成本为后者的 60%。 Argon 每项任务收费 $1.99,每 100 万输入/输出 token 分别收费 $2/$10;11 月 30 日后,价格将升至 $4/$20,缓存读取可享 95% 折扣。 Artificial Analysis 还报告称,Argon 在智能体评测中的表现大幅提升,并在 AA-Omniscience 上的幻觉率为 15%;在其智能指数得分达到 45+ 的模型中,这一比率最低。

    推荐理由:该比较将智能得分与任务成本分开呈现,说明 Argon 的临时定价如何使其在智能水平相近时,相较 GPT-6 Astra 具备成本优势。

10月13日周二
  1. Alexandr Wang · X82

    Meta 发布 Muse Wonder 和 Muse Wonder Full,基准测试得分更高

    据 Alexandr Wang 引述的帖子,Meta 已发布 Muse Wonder 和 Muse Wonder Full。在最高推理力度下,它们在 Artificial Analysis Intelligence Index v4.3 上的得分分别为 52 和 56,而 Muse Spark 1.3 的得分为 48;两次发布间隔 6 周。Muse Wonder 可通过 Meta 的第一方 API 和 Muse Code 使用,而 Muse Wonder Full 仅向 Muse Code 用户开放;两者的上下文窗口均为 1M 个 token。

    推荐理由:Artificial Analysis 的对比凸显了一个权衡:与 Muse Spark 1.3 相比,Muse Wonder 的基准测试表现有所提升,但每项任务的成本更高,尽管其输出 token 用量更低。

10月11日周日
  1. 量子位78

    谷歌发布支持4K输出的Nano Banana 2.1图像模型

    谷歌发布了Nano Banana 2.1,这是一款升级版图像生成模型,支持4K输出、基于蒙版的编辑以及改进的主体一致性。据Arena称,它在文生图、多图编辑和单图编辑方面平均提升了约61.7分,谷歌将1K和2K图像的API价格减半,同时将4K价格下调约25%。该模型已在Gemini应用和Google AI Studio中上线,每天提供50个免费额度。

    推荐理由:这篇文章汇总了Arena排名提升、API降价以及Nano Banana 2.1的早期用户测试,包括据报道的水印和重复编辑问题。

10月8日周四
  1. Simon Willison78

    Anthropic 发布 Claude Haiku 5.5,定价对齐 GPT-6 Luna

    Anthropic 发布快速低价模型 Claude Haiku 5.5,定价为每百万输入 0.10 美元、输出 0.50 美元,与 OpenAI 上月发布的 GPT-6 Luna 完全一致,但超过 100,000 tokens 后涨至 0.50/2.50 美元,而 Luna 在 272,000 tokens 才涨到 0.20/0.75 美元。

    推荐理由:作者实测了 Haiku 5.5 的定价、tokenizer 变化与不同推理档位的成本耗时,可据此判断它与 GPT-6 Luna 的取舍。

10月1日周四
  1. The Decoder78

    Google 发布 Gemini 4 Argon,追平 OpenAI 与 Anthropic 但未取得明显领先

    Google 发布新前沿模型 Gemini 4 Argon,在多项基准上追平 OpenAI 与 Anthropic,但未取得明显领先。该模型先向 Fairwind 计划的“可信网络防御者”和 Google 内部团队开放,之后才面向开发者、企业和消费者,API 定价为每百万输入 token 2 美元、输出 token 10 美元(促销价)。

    推荐理由:汇总第三方与人类偏好榜单,呈现 Gemini 4 Argon 与 OpenAI、Anthropic 的分数、token 消耗和价格对比。

9月30日周三
  1. Hugging Face Blog60

    Hugging Face 发布 Open TTS Leaderboard,用客观指标评测多语言 TTS 与语音克隆

    Hugging Face 发布 Open TTS Leaderboard,用 WER/CER、RTFx、TTFA 和说话人相似度等客观指标评测开源 TTS 模型,把评测周期从数周投票缩短到数小时。

    推荐理由:Hugging Face 用客观指标替代投票式评测,读者可了解开源 TTS 模型在多语言与语音克隆上的横向对比方式。

9月23日周三
8月21日周五
7月15日周三
7月7日周二
  1. Hugging Face Blog74

    LeRobot v0.6.0 发布:想象、评估、改进

    Hugging Face 发布 LeRobot v0.6.0,围绕机器人学习闭环引入世界模型策略(VLA-JEPA、FastWAM、LingBot-VA)、新一批 VLA(GR00T N1.7、MolmoAct2、EO-1、EVO1、Multitask DiT)以及统一奖励模型 API(Robometer、TOPReward)。

    推荐理由:原文把世界模型策略、奖励模型 API 与六个仿真基准整合进同一套 CLI,读者可据此判断机器人学习闭环的工程化程度。