跳到正文

Epoch AI 发现 GPT-6.2 Astra 在工作任务中未达到员工标准

Epoch AI · X· @EpochAIResearch·· 10 小时前

3297 次浏览 · 57 赞 · 6 转发 (收录时)

原文

发生了什么

Epoch AI 在开放式 Epoch Automation Reports 任务中测试了 GPT-6.2 Astra 及其他近期模型,并由一名 Epoch 员工根据内部质量标准对它们的输出进行了评分。所有模型均未达到 100% 的员工标准:Fable 5.2 平均得分为 82%,而 GPT-6.2 Astra 以 65% 的得分排名第四,尽管其与 Fable 5.2 共享了 174 的最高 ECI 分数。

正文 · 中文版本尚未就绪(原文)

Can the most capable LLMs match humans at real work? Not yet, at least not on the kind of work we do at Epoch.

We tested GPT-6.2 Astra and other recent models on Epoch Automation Reports, our benchmark of open-ended Epoch work tasks, ranging from making Epoch-style diagrams to designing basic research experiments.

An Epoch employee scores the models’ outputs based on our internal quality standards. A score of 100% represents the standard expected of an Epoch employee.

All models failed to meet the Epoch employee standard. GPT-6.2 Astra ranks fourth (averaging 65%), despite sharing the top ECI score of 174 with Fable 5.2.

Fable 5.2 scored highest, averaging 82%.

On one task, both Fable 5.2 and Opus 5.5 matched the level of a contractor. More on that below.

这件事到目前为止

OpenAI 发布了 GPT-6.2 Astra 和 Sol 模型,现已在 ChatGPT Work、Codex 和 API 中提供。Astra 作为该公司的新旗舰模型,提供了更低的定价,其 API 费率比前代产品降低了 20%,输入 tokens 为每百万 8 美元,输出 tokens 为每百万 40 美元;而 Sol 则保持了现有的每百万 2 美元和 10 美元的定价结构。OpenAI 还扩大了其 Ultrafast 模式的访问权限,将其包含在 Pro 200 和 Pro 500 订阅层级中。 该公司报告称,GPT-6.2 Astra 在 Agents' Last Exam、BenchCAD 2.1 和 Terminal-Bench Science 0.1 等基准测试中以更低的成本创下了新高。然而,外部评估显示结果好坏参半。Epoch AI 报告称,GPT-6.2 Astra 在内部自动化质量标准上得分为 65%,落后于 Fable 5.2。此外,Simon Willison 的独立测试表明,与其他前沿模型相比,该模型在动画任务上表现吃力。OpenAI 还为新模型实施了更严格的网络安全防护措施,并计划通过其 Daybreak 平台为获批的防御者提供访问权限,尽管该公司指出,这些防护措施可能会增加某些安全研究任务的拒绝率。

接下来读什么

查看这件事的完整进展OpenAI 发布 GPT-6.2 Astra 和 Sol,降低 API 定价并扩大可用范围