Microsoft 研究:AI 评测为何在传统 benchmark 之外出现“意外失败”
Microsoft 的 Jennifer Neville 指出,把模型放到传统 benchmark 之外测试时会出现“意外失败”,评测是推动当前 AI 系统性能边界、贴合用户需求的关键。她建议在使用现有 AI 系统时密切关注数据,因为结果偏离预期时数据本身往往最值得细看。

Microsoft 的 Jennifer Neville 指出,把模型放到传统 benchmark 之外测试时会出现“意外失败”,评测是推动当前 AI 系统性能边界、贴合用户需求的关键。她建议在使用现有 AI 系统时密切关注数据,因为结果偏离预期时数据本身往往最值得细看。
OpenAI CEO Sam Altman 在联合国安理会发表讲话,讨论 AI 安全、人类控制与国际合作。
OpenAI 的 Chris Lehane 主张,AI 能力越强,越需要更强的安全证据、共享标准和持久的政策行动。他认为当前政策窗口仍然敞开,各方应抓住时机推动落地。
OpenAI 的 Jakub Pachocki 反思日益强大的 AI 及保持其对齐的难题,呼吁加强安全防护并推动国际协调。