Collinear AI 发布包含 100 项安全任务的公开版 CWE-bench v2

1篇报道 1个报道来源 18 小时前更新

先了解这件事

AI 综述

Collinear AI 与 Hugging Face 发布了 CWE-bench v2，这是一个公开基准测试，包含 100 项任务，覆盖 91 个 CWE 类别，用于评估能够在真实开源代码仓库中发现并修复弱点的智能体。该数据集设有访问限制；用户必须接受其访问条件。若要在保留测试集上进行评估，需联系 [email protected]。该基准测试采用经过筛选和审核的确定性检查，旨在评估指令是否贴近现实、修复是否有效，以及能否抵御记忆式解题。在评估的 11 个模型中，Gemini 4 Argon 的 pass@1 得分最高，为 67.8%。数据集、评分器和测试框架均已开放。

AI 根据报道生成 · 1 小时前更新

接下来读什么

今日还有哪些重要变化通过五项核心价值观解读 OpenAI 更新后的 Model Spec

提到的模型

Gemini 4 Argon综合榜第 4每百万 Token 输入 $2 / 输出 $10

全部模型的 API 价格

报道时间线

沿着报道，了解事件的不同侧面。

11月3日

08:00
Hugging Face Blog精选
CWE-bench v2 将公开安全基准扩展至 100 项任务
Hugging Face 和 Collinear AI 发布了 CWE-bench v2，这是一个包含 100 项任务、覆盖 91 个 CWE 的公开基准，用于评估能够在真实开源仓库中发现并修复弱点的智能体。其确定性检查经过整理和审查，旨在检验指令是否贴近实际、修复是否有效，以及能否抵御对记忆解法的依赖。在评估的 11 个模型中，Gemini 4 Argon 以 67.8% 的 pass@1 领先；数据集、评分器和测试框架均已开放。

模型发布、价格变化、算力进展，附原始来源。免费，确认后开始发送，随时一键退订。看一份往期日报

本事件热度走势

还没有足够的连续观测数据，暂不绘制趋势。