Ethan Mollick 称，Harness 和智能模型可能让著名的高难度基准测试走向终结

发生了什么

Harness + 智能模型 = 最后一批著名高难度基准测试的终结。 模型现在可以连续工作极长时间（再见了，METR Long Tasks），可以输出数学计算正确的专业文档（再见了，GDPval），还可以解开复杂的新颖谜题（告别了，ARC-AGI-3）。https://twitter.com/arcprize/status/2110768288523251762

这件事到目前为止

Ethan Mollick认为，智能模型与工具框架相结合，削弱了三项知名的高难度AI基准测试：METR Long Tasks、GDPval和ARC-AGI-3。他表示，模型如今能够连续工作极长时间、制作数学计算正确的专业文档，并解决复杂的新颖谜题——他将这些能力分别与上述基准测试联系起来。 Mollick认为，这些能力表明“最后几项知名高难度基准测试的时代已经结束”。他的结论谈的是模型借助工具框架能够完成什么，而不是模型单独的表现。

继续阅读

正在热议

1. 1Meta 开放发布 Muse Spark Open，支持 Mac 和云端部署，位居美国开放权重模型榜首
2. 2Google 在全球推出 Gemini 4 Argon，并扩大付费访问范围，基准测试结果不一
3. 3OpenAI 为 ChatGPT 中的 GPT-6 Astra Pro 带来并行智能体和更快响应
4. 4Meta的新商业条款引发有关网站抓取和 AI 训练权利的争议