阅读
工具
关于
研究人员推出了公开可用的 Taste-Bench,用于测试 AI 模型在看到后续结果之前所做的选择;在接受评测的 14 个模型中,GPT-5.6 Sol 以 59.7% 的得分排名第一。该基准包含 502 道关于编程和 AI 研究决策的问题。评分规则要求模型在选项以两种顺序呈现时都答对,因此随机猜测的基准准确率为 25%。 研究人员还训练了一个 Qwen3.6-27B 学生模型,将其准确率从 30% 提高到 47.9%。当另一个智能体获得该学生模型的建议后,它在 41 项留出的 SWE-bench Pro 任务中的成功率从 14.6% 升至 33.7%。
AI 根据报道生成 · 6 小时前更新
沿着报道,了解事件的不同侧面。
研究人员推出了 Taste-Bench,这是一个公开基准,包含 502 个问题,用于测试模型能否在看到后续结果之前,在编码和 AI 研究任务中选择更好的路径。在 14 个模型中,GPT-5.6 Sol 得分最高,为 59.7%;其评分规则要求模型在两个选项顺序下都答对,而随机猜测的得分为 25%。对一个 Qwen3.6-27B 学生模型进行训练后,其准确率从 30% 提高到 47.9%;在 41 个留出的 SWE-bench Pro 任务中,将该模型的建议提供给另一个代理后,成功率从 14.6% 提高到 33.7%。
和上面这份一样:几件值得看的事。免费,点确认信之后才会开始发送,每封信都能一键退订。 看一份往期日报
趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。