Taste-Bench 测试 AI 代理对具有长期影响的决策的判断力

发生了什么

研究人员推出了 Taste-Bench，这是一个公开基准，包含 502 个问题，用于测试模型能否在看到后续结果之前，在编码和 AI 研究任务中选择更好的路径。在 14 个模型中，GPT-5.6 Sol 得分最高，为 59.7%；其评分规则要求模型在两个选项顺序下都答对，而随机猜测的得分为 25%。对一个 Qwen3.6-27B 学生模型进行训练后，其准确率从 30% 提高到 47.9%；在 41 个留出的 SWE-bench Pro 任务中，将该模型的建议提供给另一个代理后，成功率从 14.6% 提高到 33.7%。

这件事到目前为止

研究人员推出了公开可用的 Taste-Bench，用于测试 AI 模型在看到后续结果之前所做的选择；在接受评测的 14 个模型中，GPT-5.6 Sol 以 59.7% 的得分排名第一。该基准包含 502 道关于编程和 AI 研究决策的问题。评分规则要求模型在选项以两种顺序呈现时都答对，因此随机猜测的基准准确率为 25%。 研究人员还训练了一个 Qwen3.6-27B 学生模型，将其准确率从 30% 提高到 47.9%。当另一个智能体获得该学生模型的建议后，它在 41 项留出的 SWE-bench Pro 任务中的成功率从 14.6% 升至 33.7%。

继续阅读

正在热议

1. 1DeepSeek 发布 V4.1-Flash-1017，现已上线 Ollama Cloud 并由美国境内托管
2. 2Meta 删除引发网站抓取和 AI 训练担忧的商业条款措辞
3. 3Anthropic称，Claude利用时间戳初始化的生成器重构了五个NIST椭圆曲线种子
4. 4Meta 开源发布 Muse Spark Open，支持 Mac 和云端，在美国开放权重模型指数中排名第一