跳到正文

OpenAI 与四家研究机构合作开展嵌入式评估

OpenAI · X当事人· @OpenAI·· 2 小时前

16.4万 次浏览 · 1395 赞 · 134 转发 (收录时)

原文

发生了什么

OpenAI 正与 Apollo Research、METR Evals、Transluce AI 和 Goodfire AI 合作开展嵌入式评估,让外部专家能够深入接触其内部模型和系统。作为 OpenAI 持续推进的对齐与安全研究的一部分,这些专家将对对齐情况展开调查并测试安全防护措施。

接下来读什么

查看这件事的完整进展OpenAI 与四个外部研究机构启动首轮嵌入式评估

3 家信源报道

    正文 · 中文版本尚未就绪(原文)

    We’re working with @ApolloResearch, @METR_Evals, @TransluceAI, and @GoodfireAI on embedded assessments: giving outside experts deep access to our internal models and systems to investigate alignment and test our safeguards.

    These assessments build on our ongoing alignment and safety research, bringing independent scrutiny to how we identify and manage risks in our systems.

    openai.com/index/our-first-ph…

    这件事到目前为止

    据 OpenAI 及其联合创始人 Greg Brockman 称,OpenAI 已启动首轮嵌入式评估,向 Apollo Research、METR Evals、Transluce AI 和 GoodfireAI 这四个外部研究机构开放其内部模型和系统的深度访问权限,以研究对齐问题并测试安全防护措施。 OpenAI 和 Apollo 表示,在一项试点项目中,OpenAI 将接待六名 Apollo Research 安全评估人员,以审查模型是否会暗中违背开发者的意图,或破坏自身及后续模型的对齐与控制机制。Apollo 表示,其将获得相关的训练代码、数据集、强化学习推演和中间检查点,但其对人员和信息的访问权限仅限于双方约定的评估主张、特定模型和时间段。OpenAI 还保留因技术不可行、安全风险或知识产权保护而拒绝提供信息的权利;此外,尽管 Apollo 可以发布独立结论,但 OpenAI 可能会限制支持这些结论的公开证据。 OpenAI 表示,GoodfireAI 将派驻可解释性研究人员,利用其平台分析 OpenAI 模型的内部机制。该公司称,GoodfireAI 的工作重点是训练运行监控、调试和对齐,以帮助 OpenAI 研究人员发现问题并做出安全改进。