#评测/基准

微软称 MAI 是 OpenRouter 上准确度最高、最受欢迎的转录模型

MAI 是 OpenRouter 上准确度最高、最受欢迎的转录模型，适用于所有语言和使用场景。 现在就为你的智能体试试吧！👇 https://t.co/rHOlsQWzro

Chollet 比较 Gemini 4 Argon 与 Astra 在 ARC-AGI-3 上的表现

François Chollet 表示，Argon 在 ARC-AGI-3 上的表现特征与 Astra 相似，并补充说 Google 已重返前沿。https://t.co/a6GGEsMN4A 被引用的 ARC Prize 帖子报告了 Gemini 4 Argon 经验证的 ARC-AGI-3 结果：使用提供方适配器测试框架时为 97.5%、$4.8K，使用标准测试框架时为 49.8%、$5.8K；此外，在 ARC-AGI-2 上为 91.3%、$0.32/task，在 ARC-AGI-1 上为 98.5%、$0.16/task。https://t.co/8siwgfBJcr

Alexandr Wang 表示，Muse Wonder Full 在高难度编程任务上可能会让你惊喜

试试用 Muse Wonder Full 处理你最棘手的编程任务——它会让你惊喜！ “根据我的氛围测试，它比 Astra 好。还不如 Claude Code Fable 和 5.5 Opus。” https://t.co/8RTGZ434kG

Alexandr Wang敦促Muse Wonder投资其科技树

@Hesamation 正在用他们从小玩到大的战略游戏《Stronghold Crusader》对模型进行基准测试。他们说，Muse Wonder在一台旧笔记本电脑上玩这款游戏“看起来简直太有意思了”，还说他们测试了Opus、Sol、GLM flash、Kimi K3等模型。 Alexandr Wang回应道：“来吧 Muse Wonder 我相信你 把资源投到你的科技树里啊啊啊啊” https://t.co/dSUEmGVxV7

Ray-Ban Meta Audio 眼镜评测：我并不想念摄像头

Victoria Song 认为，不带摄像头的 Ray-Ban Meta Audio 眼镜佩戴舒适，作为开放式耳机也很实用；不过，她觉得 Muse Spark 主要在处理简单请求和设置提醒时才有帮助。她的评测机连续两个完整工作日都无需放回充电盒，但声音会外泄，周围环境嘈杂时音频体验也会受影响。去掉摄像头让她在公共场合佩戴智能眼镜时更自在，不过她指出，这并未解决更广泛的隐私问题，而且以眼镜目前的功能来看，价格偏高。

Alexandr Wang回应@lillyguisnet的图像指点基准测试

@lillyguisnet发帖称：“我的图像指点基准测试又创下新的SOTA。”Alexandr Wang：这才是我支持的那种基准测试。

Alexandr Wang敦促关注者“让灵魂充满好奇”

让灵魂充满好奇

人们对 Artificial Analysis Index 及其各项分数过于认真了。

人们对 Artificial Analysis Index 及其各项分数过于认真了。

Alexandr Wang 对 @theo 的 S 级模型排名作出回应

@theo 将 Opus 5.5 和 Muse Wonder 列为 S 级。Alexandr Wang 表示：“哇，theo 给了 S 级！这可不在我的宾果卡上。”

中文版本尚未就绪 · 显示原文

Alexandr Wang Says Muse Wonder Outperformed Astra in Physics Testing

“[Muse Wonder] definitely mogged Astra in my hardcore physics testing.” — the new beff times

如果你公布了某个模型的基准测试成绩，却说要“稍后”才发布（权重、产品、API 等），那在你发布之前，就几乎可以肯定会有人推出同类别中更好的模型。

如果你公布了某个模型的基准测试成绩，却说要“稍后”才发布（权重、产品、API 等），那在你发布之前，就几乎可以肯定会有人推出同类别中更好的模型。

Nathan Lambert 看好强化学习数据和真实世界评估领域的投资

Nathan Lambert 表示，数据行业已经发展壮大，但低质量输出可能会放大奖励黑客等行为。他正在为 Mercor 提供建议，研究如何为强化学习提供样本效率更高的数据；他还表示，该领域需要更扎实的评估科学，以及与明确经济价值领域相联系的基准。Lambert 预计，围绕前沿实验室，将在开放推理、开放式后训练和数据领域出现大量投资，并有机会基于开放模型开展建设。

ARC Prize 报告称 @tufalabs 在 ARC-AGI-2 上取得 88.06% 的高分

François Chollet 写道：“我们现在在 Kaggle 上的 ARC-AGI-2 得分相当不错！” 在这条被引用的帖子中，@arcprize 报告称，@tufalabs 在 ARC Prize 2026 的 ARC-AGI-2 上取得了 88.06% 的新高分。除保证奖金外，15 万美元的额外奖金将在所有得分超过 85% 的团队之间分配。

Microsoft 研究：AI 评测为何在传统 benchmark 之外出现“意外失败”

Microsoft 的 Jennifer Neville 指出，把模型放到传统 benchmark 之外测试时会出现“意外失败”，评测是推动当前 AI 系统性能边界、贴合用户需求的关键。她建议在使用现有 AI 系统时密切关注数据，因为结果偏离预期时数据本身往往最值得细看。

Karpathy 分享 LLM 陆海判定评测

很酷的 eval。只需问 LLM“陆地还是海洋？”，以文本形式给它一个经纬度坐标。问 16,200 次，绘制成图像。模型知道答案。来自对互联网的压缩。

Noam Brown 主张将模型智能视为成本的函数来衡量

Noam Brown 赞赏 OpenAI 展示模型评测结果的方式，并写道，智能应作为成本的函数来衡量。 在被引用的帖子中，OpenAI 称 GPT-6.1 Sol 以五分之一的价格提供接近 Astra 的智能水平，并称其为目前性能与成本效益最优的模型。

Logan Kilpatrick：AI 产品应投入超 25% 时间做基准测试

如果你在用 AI 构建产品，你应该花超过 25% 的时间来做基准测试，并努力让模型实验室关注这些基准测试 这是加速公司进展的最简单路径

Import AI 468：23 条 RSI 政策建议、PostTrainBench+，以及信任与透明度如何影响 AI 竞赛

Import AI 第 468 期汇总了智库 IFP 提出的 23 条应对 AI 研发自动化风险的政策建议，覆盖 7 个类别，包括提升自动化 AI 研发透明度、加速 AI 验证技术开发和扩展美国 AI 领先优势。

Import AI 464：Fable 编写 GPU kernel、AI 自动化与模拟计算

Import AI 464 汇总多项研究进展。Fable 在 KernelBench-Mega 上写出 megakernel，在 RTX PRO 6000 Blackwell 上以 Cuda 实现 18.71X 加速，对比 Claude Opus 4.8 的 14.4X、GLM-5.2 的 11.14X 和 GPT 5.5 的 4.34X。