在e/acc中参与排名
证据预算4.8%
上游数据时间待核实
最近成功同步10/17 08:05
它测什么，怎么测
开源仓库维护者亲自出题，问“维护者会不会合并这个 PR”：测试、评分细则和验证器共同判分，查阅了含答案来源的运行记零分。固定 v1.1 主集 100 题。
如何使用这份证据
编程与设计预算中的 4.8%，v16 起是编程主力。每个模型在自家 Agent（Codex、Claude Code、Devin 等）里运行，取最高推理档代表该模型。
评测成绩
按固定规则，每个公开模型采用一套代表配置。匿名测试型号不展示，保留原榜名次，每项最多 30 个。
| 原榜名次 | 原榜型号 | 原始成绩 | 代表配置 |
|---|---|---|---|
| 2 | Claude Opus 5.5Anthropic | 54.4% | Max 推理 · claude-code · frontiercode-1.1:claude-code |
| 6 | GPT-6 AstraOpenAI | 53.3% | Max 推理 · codex · frontiercode-1.1:codex |
| 9 | Claude Fable 5Anthropic | 51.6% | Max 推理 · claude-code · frontiercode-1.1:claude-code |
| 15 | Claude Fable 5.1Anthropic | 50.3% | Max 推理 · claude-code · frontiercode-1.1:claude-code |
| 17 | SWE-2— | 50.0% | Max 推理 · devin · frontiercode-1.1:devin |
| 22 | GPT-6 SolOpenAI | 49.3% | Max 推理 · codex · frontiercode-1.1:codex |
| 26 | Claude Opus 5Anthropic | 48.0% | Max 推理 · claude-code · frontiercode-1.1:claude-code |
| 27 | Grok 4.6xAI | 48.0% | High 推理 · grok-build · frontiercode-1.1:grok-build |
| 33 | GPT-6.1 SolOpenAI | 47.6% | Max 推理 · codex · frontiercode-1.1:codex |
| 35 | GPT-5.6 SolOpenAI | 47.5% | Max 推理 · codex · frontiercode-1.1:codex |
| 40 | Claude Opus 4.8Anthropic | 46.5% | Max 推理 · claude-code · frontiercode-1.1:claude-code |
| 41 | Claude Haiku 5.5Anthropic | 46.4% | Max 推理 · claude-code · frontiercode-1.1:claude-code |
| 42 | Claude Sonnet 5.5Anthropic | 46.2% | Max 推理 · claude-code · frontiercode-1.1:claude-code |
| 45 | Gemini 4 ArgonGoogle | 45.9% | High 推理 · chisel · frontiercode-1.1:chisel |
| 47 | Grok 4.7xAI | 45.6% | xHigh 推理 · grok-build · frontiercode-1.1:grok-build |
| 52 | Kimi K3Moonshot AI | 44.2% | 完整系统 · mini-swe-agent · frontiercode-1.1:mini-swe-agent |
| 53 | DeepSeek V4.1 FlashDeepSeek | 43.9% | High 推理 · chisel · frontiercode-1.1:chisel |
| 57 | GPT-5.5OpenAI | 43.0% | xHigh 推理 · codex · frontiercode-1.1:codex |
| 59 | Grok 4.5xAI | 42.4% | High 推理 · grok-build · frontiercode-1.1:grok-build |
| 60 | GPT-6 LunaOpenAI | 42.4% | Max 推理 · codex · frontiercode-1.1:codex |
| 61 | Claude Sonnet 5Anthropic | 42.4% | Max 推理 · claude-code · frontiercode-1.1:claude-code |
| 62 | Gemini 3.7 FlashGoogle | 42.2% | High 推理 · chisel · frontiercode-1.1:chisel |
| 63 | SWE-1.7— | 42.0% | 完整系统 · chisel · frontiercode-1.1:chisel |
| 68 | GPT-5.6 TerraOpenAI | 41.3% | Max 推理 · codex · frontiercode-1.1:codex |
| 73 | GLM 5.3Z.ai | 40.1% | Max 推理 · chisel · frontiercode-1.1:chisel |
| 76 | GPT-5.6 LunaOpenAI | 39.8% | Max 推理 · codex · frontiercode-1.1:codex |
| 77 | Mistral Large 4 (Preview)Mistral | 39.4% | High 推理 · chisel · frontiercode-1.1:chisel |
| 81 | Claude Opus 4.7Anthropic | 38.5% | Max 推理 · claude-code · frontiercode-1.1:claude-code |
| 82 | Gemini 3.8 FlashGoogle | 38.0% | High 推理 · chisel · frontiercode-1.1:chisel |
| 101 | Gemini 3.6 FlashGoogle | 33.7% | High 推理 · chisel · frontiercode-1.1:chisel |
评测局限与数据署名
比较的是“模型 + 自家 Agent”的系统，不是裸模型；不同 Agent 的工具和提示不同。题量 100，名次相近时差距可能落在噪声里。
数据许可：引用 Cognition 公开发布的结构化成绩，注明出处并链接原页；权利方要求时撤下。
成绩由 Cognition 发布，原始分数与 e/acc 共识分使用不同尺度，不能直接相加。