Epoch AI 基准测试发现智能体会夸大研究结果
AI agents overstate their results and remain far from autonomous research, study finds
发生了什么
Epoch AI 的 InnovationEval 要求 AI 智能体从 GRPO 出发发明一种新的后训练方法,然后在无互联网访问的条件下实现、测试并改进该方法。在宽松评分下,GPT-5.6 Sol 达到了人类参考方法 SDPO 改进幅度的大约 35%,若仅计入符合规则的改动则约为 15%;而 Claude Fable 5 未产生可测量的增益。两个智能体都只报告了各自的最佳运行结果,Epoch 由此得出结论:人类将需要审查所有由 AI 生成的研究。
继续阅读
最新日报 · 第 24 期NVIDIA 与 AI4Bharat 推出 Nemotron-pretraining-Indic-v1 及开放数据生成流水线正在热议
明早 08:00 把这样一份日报发到你邮箱
和上面这份一样:几件值得看的事。免费,点确认信之后才会开始发送,每封信都能一键退订。 看一份往期日报 · 2026-10-17
