同一模型，不同框架：何时选择 CUGA、Hermes 或 Deep Agents
Same Model, Different Harness: CUGA, Hermes, and Deep Agents — When to Pick CUGA?
- 谁
- IBM Research
- 引文
We gave three of them the same open-weight model and 90 AppWorld tasks, and changing the harness moved task completion from 30% to 81%.
发生了什么
CUGA 团队使用同一个 GLM-5.3-flash 模型，在 90 项 AppWorld 任务上比较了 CUGA、Hermes 和 Deep Agents。CUGA 完成了 81.1% 的任务，Hermes 为 46.7%，Deep Agents 为 30.0%；文章还介绍了 CUGA 的运行时策略检查，并指出该基准只能有限地代表企业自动化场景。
推荐理由
这项受控比较在模型保持不变的情况下展示了框架选择如何影响 AppWorld 任务完成率；策略部分则解释了运行时检查与提示词指令的区别。
接下来读什么
查看这件事的完整进展CUGA 在 90 项 AppWorld 对比测试中优于 Hermes 和 Deep Agents这件事到目前为止
CUGA 团队报告称，在 90 项 AppWorld 任务中，CUGA 完成了 81.1%，Hermes 为 46.7%，Deep Agents 为 30.0%；三者使用的是同一款 GLM-5.3-flash 模型。这些结果表明，在这项基准测试中，工具框架影响了任务完成情况。 此次对比采用了不同的设置，其中 CUGA 使用了其他工具框架未采用的 AppWorld 配置。团队表示，90 项任务的样本可能无法推广到其他任务，而且这些运行未使用策略，因此无法衡量策略执行情况。
每天一封，跟上 AI 的重要变化
模型发布、价格变化、算力进展，附原始来源。免费，确认后开始发送，随时一键退订。 看一份往期日报 · 2026-11-03