跳到正文

研究发现,编码智能体的运行框架对成本的影响大于对成功率的影响

1篇报道 1个报道来源 2 小时前更新

先了解这件事

AI 综述

Liu 和 Han 的研究发现,在离线 SWE-bench Verified 测试中,编码智能体的运行框架对成本的影响往往大于对成功率的影响;Claude Code 和 mini-SWE-agent 的表现相近,而 OpenCode 则存在显著的性能差距。 研究人员在 Claude Code、OpenCode 和 mini-SWE-agent 已发布的版本中测试了五种模型。在涵盖其中两种受测模型的 447 项任务的比较中,Claude Code 和 mini-SWE-agent 的成功率相差不到两个百分点。系统提示词和工具描述是成本差异的重要来源。Liu 和 Han 建议报告多次运行的结果,以区分运行框架的影响与测量噪声。

AI 根据报道生成 · 2 小时前更新

接下来读什么

今日还有哪些重要变化Kimi K3.1 Pro 在 Artificial Analysis 排名第四,逼近 Claude Opus 5.5

报道时间线

沿着报道,了解事件的不同侧面。

10月24日
  1. 研究发现,复杂的编程智能体工具框架让成本更高,效果却未提升

    Liu 和 Han 发现,在离线 SWE-bench Verified 测试中,编程智能体工具框架对成本的影响往往大于对成功率的影响。对两种受测模型而言,Claude Code 和 mini-SWE-agent 在 447 项任务上的完成率相差不到 2 个百分点,而 OpenCode 则表现明显较差。系统提示和工具说明造成了大部分成本差异;研究人员建议报告重复运行的结果,以区分工具框架的影响和测量噪声。

每天一封,跟上 AI 的重要变化

模型发布、价格变化、算力进展,附原始来源。免费,确认后开始发送,随时一键退订。 看一份往期日报

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。