Anthropic 训练 Claude 通过自我评估标记潜在滥用行为

发生了什么

Anthropic 训练 Claude 在对话中使用一种名为“自我评估”的技术来标记潜在滥用行为。Claude 在回复后会立即对这段对话进行初步安全评估。 Anthropic 表示，自 6 月起开始使用自我评估，并称该技术发现了滥用行为；所提供的帖子在这一说法尚未说完时便中断了。

接下来读什么

• 今日还有哪些重要变化Google DeepMind 发布 Gemini 4 Carbon，具备网络安全和长时程能力

2 家信源报道

这件事到目前为止

Anthropic 表示，自 6 月以来，它一直使用 Claude 的自我评估来标记对话中的潜在滥用情况，并且该技术已发现滥用情况。Claude 作出回应后，会对对话进行初步安全评估。标记用于后续审查，而非立即拦截；单个标记不会直接导致账户暂停。 根据 Baoyu 对该系统的说明，Anthropic 表示，自我评估使推理计算量增加不到 2%，不会向客户额外收费，也不会收集额外的用户数据。目前，与零数据保留协议相关的流量不在覆盖范围内。Anthropic 表示，在抽样的 Fable 5 流量中，该系统检测出了由独立评估器标记的对话中的 78%，误报率为 1%。