ALTK-Evolve 利用学习得到的记忆，使 GPT-4.1 在零售 τ²-bench 上取得领先成绩
ALTK-Evolve: How learned memory tops the τ²-bench leaderboard on customer service tasks without a frontier model
- 谁
- Hugging Face
- 引文
ALTK-Evolve learns and applies a playbook using GPT-4.1, outperforming the retail entries on τ²-bench, a customer service agent benchmark—without updating model weights.
发生了什么
IBM Research 报告称，ALTK-Evolve 会从智能体的训练尝试中提取行为准则，并将其附加到提示中，从而提升客户服务表现，无需更新权重或人工标注。在留出的 τ²-bench 零售任务中，GPT-4.1 的 Pass^4 从 57.5% 提高到 67.5%；较小的准则集对航空任务的可靠性提升最大。其完整基础划分的零售成绩也超过了 2026 年 10 月 12 日排行榜快照中的所有参赛结果。准则增加了输入 token 成本，同时在匹配的成功运行中略微减少了对话轮数。
推荐理由
这些实验提供了一种可迁移的方法，通过学习得到的提示准则提升智能体可靠性，同时表明准则数量与输入 token 成本之间需要根据领域权衡。
这件事到目前为止
IBM 研究院报告称，ALTK-Evolve 通过在提示中加入习得的行为指南，提高了 GPT-4.1 在客户服务任务中的可靠性；在留出的 τ²-bench 零售任务中，Pass^4 从 57.5% 提升至 67.5%。在零售完整基础划分上的成绩也超过了该基准测试 2026 年 10 月 12 日排行榜快照中的所有条目。 ALTK-Evolve 从智能体的训练尝试中提取指南，无需更新模型权重或进行人工标注。不同任务受益于不同的指南集合：航空公司的可靠性从较小的指南集合中获益最多。加入指南会增加输入令牌成本；在同一任务上比较成功运行时，对话轮数略有减少。
继续阅读
最新日报 · 第 27 期TorchNeuron 为 AWS Trainium 上的 Hugging Face 模型带来原生 PyTorch 支持正在热议
明早 08:00 把这样一份日报发到你邮箱
和上面这份一样：几件值得看的事。免费，点确认信之后才会开始发送，每封信都能一键退订。 看一份往期日报 · 2026-10-20