CWE-bench v2 将公开安全基准扩展至 100 项任务

发生了什么

Hugging Face 和 Collinear AI 发布了 CWE-bench v2，这是一个包含 100 项任务、覆盖 91 个 CWE 的公开基准，用于评估能够在真实开源仓库中发现并修复弱点的智能体。其确定性检查经过整理和审查，旨在检验指令是否贴近实际、修复是否有效，以及能否抵御对记忆解法的依赖。在评估的 11 个模型中，Gemini 4 Argon 以 67.8% 的 pass@1 领先；数据集、评分器和测试框架均已开放。

接下来读什么

• 今日还有哪些重要变化通过五项核心价值观解读 OpenAI 更新后的 Model Spec

这件事到目前为止

Collinear AI 与 Hugging Face 发布了 CWE-bench v2，这是一个公开基准测试，包含 100 项任务，覆盖 91 个 CWE 类别，用于评估能够在真实开源代码仓库中发现并修复弱点的智能体。该数据集设有访问限制；用户必须接受其访问条件。若要在保留测试集上进行评估，需联系 [email protected]。 该基准测试采用经过筛选和审核的确定性检查，旨在评估指令是否贴近现实、修复是否有效，以及能否抵御记忆式解题。在评估的 11 个模型中，Gemini 4 Argon 的 pass@1 得分最高，为 67.8%。数据集、评分器和测试框架均已开放。