跳到正文

Taste-Bench 测试 AI 智能体的决策与后续结果是否相符

1篇报道 1个报道来源 7 小时前更新

先了解这件事

AI 综述

研究人员推出了公开可用的 Taste-Bench,用于测试 AI 模型在看到后续结果之前所做的选择;在接受评测的 14 个模型中,GPT-5.6 Sol 以 59.7% 的得分排名第一。该基准包含 502 道关于编程和 AI 研究决策的问题。评分规则要求模型在选项以两种顺序呈现时都答对,因此随机猜测的基准准确率为 25%。 研究人员还训练了一个 Qwen3.6-27B 学生模型,将其准确率从 30% 提高到 47.9%。当另一个智能体获得该学生模型的建议后,它在 41 项留出的 SWE-bench Pro 任务中的成功率从 14.6% 升至 33.7%。

AI 根据报道生成 · 6 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月18日
  1. Taste-Bench 测试 AI 代理对具有长期影响的决策的判断力

    研究人员推出了 Taste-Bench,这是一个公开基准,包含 502 个问题,用于测试模型能否在看到后续结果之前,在编码和 AI 研究任务中选择更好的路径。在 14 个模型中,GPT-5.6 Sol 得分最高,为 59.7%;其评分规则要求模型在两个选项顺序下都答对,而随机猜测的得分为 25%。对一个 Qwen3.6-27B 学生模型进行训练后,其准确率从 30% 提高到 47.9%;在 41 个留出的 SWE-bench Pro 任务中,将该模型的建议提供给另一个代理后,成功率从 14.6% 提高到 33.7%。

明早 08:00 把这样一份日报发到你邮箱

和上面这份一样:几件值得看的事。免费,点确认信之后才会开始发送,每封信都能一键退订。 看一份往期日报

本事件热度走势

可比范围当前
8
可比范围峰值
1010月18日 18:00
近 24 小时变化
–

趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。

继续阅读

最新日报 · 第 25 期DeepSeek 在其网站、应用和 API 上发布 DeepSeek-V4.1-Flash-1017

正在热议

  1. 1DeepSeek 发布 V4.1-Flash-1017,现已上线 Ollama Cloud 并由美国境内托管
  2. 2Google DeepMind 称四个 Gemini 4 Argon 智能体在无人类帮助下通关《我的世界》
  3. 3Meta 删除引发网站抓取和 AI 训练担忧的商业条款措辞
  4. 4Anthropic称,Claude利用时间戳初始化的生成器重构了五个NIST椭圆曲线种子