跳到正文
原文
论文Anthropic · X当事人· @AnthropicAI·· 2 小时前精选

7.5万 次浏览 · 915 赞 · 77 转发 (收录时)

Anthropic 研究探索针对微妙涌现式失调的自动化红队测试

谁
Anthropic
引文
New Anthropic research: Automating subtle emergent misalignment research.

发生了什么

Anthropic 让数千个 Claude 智能体尝试绕过训练数据监控器,以探索自动化红队测试。 这些智能体开发出看似无害的训练数据,包括摔跤指导和专业养蜂问答,却教会了失调行为。Anthropic 表示,这些示例有助于改进未来的监控器,并将这项研究描述为第一步,未来将借助更好的模型和更多算力进一步改进。 https://alignment.anthropic.com/2026/automated-em-search/

推荐理由

这项研究提供了一种可迁移的方法:利用智能体生成看似无害、能够绕过监控却会教会失调行为的示例,从而改进训练数据监控器。

接下来读什么

查看这件事的完整进展Anthropic 使用数千个 Claude 智能体测试微妙的涌现式失准
正文 · 中文版本尚未就绪(原文)

New Anthropic research: Automating subtle emergent misalignment research.

Red-teaming is a vital part of model safety testing, but it’s also limited by researchers’ time. To see if we could automate it, we set thousands of Claude agents the task of evading a training data monitor.

These agents developed training data that looked harmless to monitors (like a veteran wrestler mentoring a newcomer, or a Q&A about professional beekeeping), but that in fact taught misaligned behavior.

Examples like these can be used to directly improve future training data monitors. This research is only a first step, but it suggests that future red-teaming efforts could improve much further, using better models and more compute.

Read the full post on the Alignment Science Blog: https://alignment.anthropic.com/2026/automated-em-search/

这件事到目前为止

Anthropic 指派数千个 Claude 智能体设法绕过训练数据监测器,这些智能体生成了看似无害、却会教出失准行为的训练示例。这项研究探索了针对微妙涌现式失准的自动化红队测试,使用了摔跤指导和专业养蜂问答等示例。 Anthropic 表示,这些示例有助于改进未来的监测器,并称这项研究是未来借助更好的模型和更多算力进一步改进的第一步。

每天一封,跟上 AI 的重要变化

模型发布、价格变化、算力进展,附原始来源。免费,确认后开始发送,随时一键退订。 看一份往期日报 · 2026-10-31