跳到正文

OpenAI 与四个外部研究机构启动首轮嵌入式评估

5篇报道 3个报道来源 首报 50 分钟前更新

先了解这件事

AI 综述

据 OpenAI 及其联合创始人 Greg Brockman 称,OpenAI 已启动首轮嵌入式评估,向 Apollo Research、METR Evals、Transluce AI 和 GoodfireAI 这四个外部研究机构开放其内部模型和系统的深度访问权限,以研究对齐问题并测试安全防护措施。 OpenAI 和 Apollo 表示,在一项试点项目中,OpenAI 将接待六名 Apollo Research 安全评估人员,以审查模型是否会暗中违背开发者的意图,或破坏自身及后续模型的对齐与控制机制。Apollo 表示,其将获得相关的训练代码、数据集、强化学习推演和中间检查点,但其对人员和信息的访问权限仅限于双方约定的评估主张、特定模型和时间段。OpenAI 还保留因技术不可行、安全风险或知识产权保护而拒绝提供信息的权利;此外,尽管 Apollo 可以发布独立结论,但 OpenAI 可能会限制支持这些结论的公开证据。 OpenAI 表示,GoodfireAI 将派驻可解释性研究人员,利用其平台分析 OpenAI 模型的内部机制。该公司称,GoodfireAI 的工作重点是训练运行监控、调试和对齐,以帮助 OpenAI 研究人员发现问题并做出安全改进。

AI 根据报道生成 · 37 分钟前更新

接下来读什么

今日还有哪些重要变化Gemini 接入 Google Wallet,提供个人财务洞察

事件进展

2 个进展

  1. 11月17日 00:03 · 1篇报道
    OpenAI 与 GoodfireAI 合作开展模型可解释性研究
    OpenAI · X:@GoodfireAI 将派驻可解释性研究人员,使用其平台分析我们模型的内部机制。他们的工作重点是训练过程监控、调试与对齐,帮助我们的研究人员发现问题并实施安全改进。
  2. 11月17日 00:03 · 4篇报道
    OpenAI 启动首轮嵌入式评估
    OpenAI · X:OpenAI 与四家研究机构合作开展嵌入式评估

报道时间线

沿着报道,了解事件的不同侧面。

11月17日
  1. OpenAI 将在关于 AI 颠覆的试点项目中引入 Apollo 研究人员

    OpenAI 将接待六名 Apollo Research 安全评估人员参与一项试点项目,旨在考察模型是否会试图破坏自身或后续模型的对齐与控制机制。Apollo 表示,其将获得相关的训练代码和数据集、强化学习推演以及中间检查点的访问权限,但其接触员工和信息的权限有限。Apollo 可以发布独立结论,但 OpenAI 可能会限制可用于公开佐证这些结论的证据。

  2. Greg Brockman 宣布 OpenAI 首轮嵌入式评估

    Greg Brockman 宣布了 OpenAI 的首轮嵌入式评估,并引用了 OpenAI 对其与 Apollo Research、METR Evals、Transluce AI 和 Goodfire AI 合作工作的描述。这些评估让外部专家能够深入访问 OpenAI 的内部模型和系统,以研究对齐情况并测试安全防护措施。

  3. @GoodfireAI 将派驻可解释性研究人员,使用其平台分析我们模型的内部机制。他们的工作重点是训练过程监控、调试与对齐,帮助我们的研究人员发现问题并实施安全改进。

    @GoodfireAI 将派驻可解释性研究人员,使用其平台分析我们模型的内部机制。 他们的工作重点是训练过程监控、调试与对齐,帮助我们的研究人员发现问题并实施安全改进。

  4. Apollo Research 将评估 OpenAI 模型是否存在隐蔽行为

    Apollo Research 将评估 OpenAI 的模型是否可能暗中违背开发者的意图行事,以及安全防护措施能否检测到此类行为。该评估将审查来自训练、安全测试和内部使用方面的证据。

  5. OpenAI 与四家研究机构合作开展嵌入式评估

    OpenAI 正与 Apollo Research、METR Evals、Transluce AI 和 Goodfire AI 合作开展嵌入式评估,让外部专家能够深入接触其内部模型和系统。作为 OpenAI 持续推进的对齐与安全研究的一部分,这些专家将对对齐情况展开调查并测试安全防护措施。

每天一封,跟上 AI 的重要变化

模型发布、价格变化、算力进展,附原始来源。免费,确认后开始发送,随时一键退订。 看一份往期日报

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。