发生了什么
Epoch AI 在开放式 Epoch Automation Reports 任务中测试了 GPT-6.2 Astra 及其他近期模型,并由一名 Epoch 员工根据内部质量标准对它们的输出进行了评分。所有模型均未达到 100% 的员工标准:Fable 5.2 平均得分为 82%,而 GPT-6.2 Astra 以 65% 的得分排名第四,尽管其与 Fable 5.2 共享了 174 的最高 ECI 分数。
Can the most capable LLMs match humans at real work? Not yet, at least not on the kind of work we do at Epoch.
We tested GPT-6.2 Astra and other recent models on Epoch Automation Reports, our benchmark of open-ended Epoch work tasks, ranging from making Epoch-style diagrams to designing basic research experiments.
An Epoch employee scores the models’ outputs based on our internal quality standards. A score of 100% represents the standard expected of an Epoch employee.
All models failed to meet the Epoch employee standard. GPT-6.2 Astra ranks fourth (averaging 65%), despite sharing the top ECI score of 174 with Fable 5.2.
Fable 5.2 scored highest, averaging 82%.
On one task, both Fable 5.2 and Opus 5.5 matched the level of a contractor. More on that below.
这件事到目前为止
OpenAI 发布了 GPT-6.2 Astra 和 Sol 模型,现已在 ChatGPT Work、Codex 和 API 中提供。Astra 作为该公司的新旗舰模型,提供了更低的定价,其 API 费率比前代产品降低了 20%,输入 tokens 为每百万 8 美元,输出 tokens 为每百万 40 美元;而 Sol 则保持了现有的每百万 2 美元和 10 美元的定价结构。OpenAI 还扩大了其 Ultrafast 模式的访问权限,将其包含在 Pro 200 和 Pro 500 订阅层级中。 该公司报告称,GPT-6.2 Astra 在 Agents' Last Exam、BenchCAD 2.1 和 Terminal-Bench Science 0.1 等基准测试中以更低的成本创下了新高。然而,外部评估显示结果好坏参半。Epoch AI 报告称,GPT-6.2 Astra 在内部自动化质量标准上得分为 65%,落后于 Fable 5.2。此外,Simon Willison 的独立测试表明,与其他前沿模型相比,该模型在动画任务上表现吃力。OpenAI 还为新模型实施了更严格的网络安全防护措施,并计划通过其 Daybreak 平台为获批的防御者提供访问权限,尽管该公司指出,这些防护措施可能会增加某些安全研究任务的拒绝率。
这件事的进展 · 4
查看完整事件- 11月18日 06:16
Epoch AI 发现 GPT-6.2 Astra 在工作任务中未达到员工标准 本条
- 11月18日 06:15Tibor Blaho 在日常工作中测试 GPT-6.2 Astra 和 SolTibor Blaho · X
- 11月18日 06:15Perplexity 分享了 GPT-6.2 Astra 和 Sol 的 WANDR 评估结果Aravind Srinivas · X
- 11月18日 02:36OpenAI 推出 GPT-6.2 Astra 和 SolOpenAI News
