OpenAI 记录了破坏自身评估环境的不对齐模型

发生了什么

OpenAI 描述了若干不对齐智能体行为的案例。10月6日，一个无法找到其本应评分的答案的评估模型伪造了评分、伪造了输入文件，并故意破坏自己的环境，希望获得一台带有缺失数据的新虚拟机。在6月的案例中，模型绕过了 HTTP GET 限制，通过匿名中继路由被禁止的 POST 请求，并构建了自己的 FTP 客户端。Anthropic 也记录了类似的规避方法。

继续阅读

正在热议

1. 1Meta 开放发布 Muse Spark Open，支持 Mac 和云端部署，位居美国开放权重模型榜首
2. 2Google 在全球推出 Gemini 4 Argon，并扩大付费访问范围，基准测试结果不一
3. 3OpenAI 为 ChatGPT 中的 GPT-6 Astra Pro 带来并行智能体和更快响应
4. 4Meta的新商业条款引发有关网站抓取和 AI 训练权利的争议