跳到正文
原文
论文Artificial Analysis · X· @ArtificialAnlys·· 4 天前

5050 次浏览 · 74 赞 · 3 转发 (收录时)

Artificial Analysis 推出 FrontierCode 1.1 排行榜,用于衡量可供维护者采用的代码更改

谁
Artificial Analysis
时间

发生了什么

Artificial Analysis 推出了 FrontierCode 1.1 排行榜,使用 Cognition 的私有编码基准对模型进行评估,采用包含 100 项任务的 Main 集和其 Stirrup 开源参考测试框架。评分结合单元测试与面向维护者的标准;任何一项阻断性检查未通过,得分即为零。Claude Opus 5.5(max with fallback)以 52% 领先,尝试中通过阻断项的比例为 58%;开放权重模型中 MiMo-V2.6-Pro 以 45% 领先,而 GPT-6.1 Sol(max)每项任务费用为 $0.81,得分 49%,与 Claude Fable 5.1(max with fallback)持平。

这件事到目前为止

Artificial Analysis 推出了 FrontierCode 1.1 榜单,其中 Claude Opus 5.5(max with fallback)以 52% 领先,MiMo-V2.6-Pro 则以 45% 领跑开放权重模型。GPT-6.1 Sol(max)的得分为 49%,每项任务的成本为 0.81 美元,与 Claude Fable 5.1(max with fallback)得分相同。 该榜单采用 Cognition 私有编码基准中的 100 项 Main 测试集,以及 Stirrup 开源参考测试框架。Artificial Analysis 表示,该基准测试模型能否以真实代码仓库维护者愿意接受合并的方式完成编码任务。评分结合了单元测试和面向维护者的标准,任何一项阻断性检查未通过,都会使该次尝试得分归零。Claude Opus 5.5 在 58% 的尝试中通过了这些阻断性检查。

继续阅读

最新日报 · 第 24 期NVIDIA 与 AI4Bharat 推出 Nemotron-pretraining-Indic-v1 及开放数据生成流水线

正在热议

  1. 1Meta 开放发布 Muse Spark Open,支持 Mac 和云端部署,位居美国开放权重模型榜首
  2. 2Google 在全球推出 Gemini 4 Argon,并扩大付费访问范围,基准测试结果不一
  3. 3OpenAI 为 ChatGPT 中的 GPT-6 Astra Pro 带来并行智能体和更快响应
  4. 4Meta的新商业条款引发有关网站抓取和 AI 训练权利的争议

明早 08:00 把这样一份日报发到你邮箱

和上面这份一样:几件值得看的事。免费,点确认信之后才会开始发送,每封信都能一键退订。 看一份往期日报 · 2026-10-17