跳到正文

Artificial Analysis 推出 FrontierCode 1.1 榜单,评估可供维护者合并的代码更改

2篇报道 2个报道来源 5 天前更新

先了解这件事

AI 综述

Artificial Analysis 推出了 FrontierCode 1.1 榜单,其中 Claude Opus 5.5(max with fallback)以 52% 领先,MiMo-V2.6-Pro 则以 45% 领跑开放权重模型。GPT-6.1 Sol(max)的得分为 49%,每项任务的成本为 0.81 美元,与 Claude Fable 5.1(max with fallback)得分相同。 该榜单采用 Cognition 私有编码基准中的 100 项 Main 测试集,以及 Stirrup 开源参考测试框架。Artificial Analysis 表示,该基准测试模型能否以真实代码仓库维护者愿意接受合并的方式完成编码任务。评分结合了单元测试和面向维护者的标准,任何一项阻断性检查未通过,都会使该次尝试得分归零。Claude Opus 5.5 在 58% 的尝试中通过了这些阻断性检查。

AI 根据报道生成 · 4 天前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月13日
  1. Meta 发布 Muse Wonder 和 Muse Wonder Full 前沿模型

    Meta 超级智能实验室发布了 Muse Wonder 和 Muse Wonder Full,这是其第二代模型系列,面向个人和专业场景中的智能体工作。Latent Space 报道称,Wonder 可通过 Meta Model API 和 Muse Code 使用,而 Full 仅限 Muse Code 订阅用户使用。Artificial Analysis 给出的 Wonder Full 和 Wonder Intelligence Index v4.3 得分分别为 56 和 52,而 Opus 5.5 为 58;Wonder 支持 1M 上下文窗口,可输入文本、图像、视频和音频,输出仅支持文本。

  2. Artificial Analysis 推出 FrontierCode 1.1 排行榜,用于衡量可供维护者采用的代码更改

    Artificial Analysis 推出了 FrontierCode 1.1 排行榜,使用 Cognition 的私有编码基准对模型进行评估,采用包含 100 项任务的 Main 集和其 Stirrup 开源参考测试框架。评分结合单元测试与面向维护者的标准;任何一项阻断性检查未通过,得分即为零。Claude Opus 5.5(max with fallback)以 52% 领先,尝试中通过阻断项的比例为 58%;开放权重模型中 MiMo-V2.6-Pro 以 45% 领先,而 GPT-6.1 Sol(max)每项任务费用为 $0.81,得分 49%,与 Claude Fable 5.1(max with fallback)持平。

继续阅读

最新日报 · 第 24 期NVIDIA 与 AI4Bharat 推出 Nemotron-pretraining-Indic-v1 及开放数据生成流水线

正在热议

  1. 1Meta 开放发布 Muse Spark Open,支持 Mac 和云端部署,位居美国开放权重模型榜首
  2. 2Google 在全球推出 Gemini 4 Argon,并扩大付费访问范围,基准测试结果不一
  3. 3OpenAI 为 ChatGPT 中的 GPT-6 Astra Pro 带来并行智能体和更快响应
  4. 4Meta的新商业条款引发有关网站抓取和 AI 训练权利的争议