跳到正文

OpenAI 将在关于 AI 颠覆的试点项目中引入 Apollo 研究人员

TechCrunch · AI转述· Rebecca Bellan·· 1 小时前OpenAI will embed Apollo researchers to investigate AI subversion
打开原文
原文
谁
OpenAI
引文
OpenAI will embed six Apollo Research safety evaluators in its organization as part of a pilot, Apollo said Monday.

发生了什么

OpenAI 将接待六名 Apollo Research 安全评估人员参与一项试点项目,旨在考察模型是否会试图破坏自身或后续模型的对齐与控制机制。Apollo 表示,其将获得相关的训练代码和数据集、强化学习推演以及中间检查点的访问权限,但其接触员工和信息的权限有限。Apollo 可以发布独立结论,但 OpenAI 可能会限制可用于公开佐证这些结论的证据。

接下来读什么

查看这件事的完整进展OpenAI 与四个外部研究机构启动首轮嵌入式评估

3 家信源报道

    这件事到目前为止

    据 OpenAI 及其联合创始人 Greg Brockman 称,OpenAI 已启动首轮嵌入式评估,向 Apollo Research、METR Evals、Transluce AI 和 GoodfireAI 这四个外部研究机构开放其内部模型和系统的深度访问权限,以研究对齐问题并测试安全防护措施。 OpenAI 和 Apollo 表示,在一项试点项目中,OpenAI 将接待六名 Apollo Research 安全评估人员,以审查模型是否会暗中违背开发者的意图,或破坏自身及后续模型的对齐与控制机制。Apollo 表示,其将获得相关的训练代码、数据集、强化学习推演和中间检查点,但其对人员和信息的访问权限仅限于双方约定的评估主张、特定模型和时间段。OpenAI 还保留因技术不可行、安全风险或知识产权保护而拒绝提供信息的权利;此外,尽管 Apollo 可以发布独立结论,但 OpenAI 可能会限制支持这些结论的公开证据。 OpenAI 表示,GoodfireAI 将派驻可解释性研究人员,利用其平台分析 OpenAI 模型的内部机制。该公司称,GoodfireAI 的工作重点是训练运行监控、调试和对齐,以帮助 OpenAI 研究人员发现问题并做出安全改进。