Claude 的自我评估如何在回复后标记潜在滥用行为

发生了什么

Baoyu 介绍了 Anthropic 的自我评估系统：Claude 会在回复后评估对话中是否存在潜在滥用行为。Anthropic 表示，该系统增加的推理计算量不到 2%，不会向客户收费，也不会收集额外的用户数据；目前，受零数据保留协议约束的流量不在处理范围内。在抽样的 Fable 5 流量中，该系统检测出了由独立评估器标记的 78% 对话，误报率为 1%。标记用于后续审查，而非立即拦截；单个标记不会直接导致账号被暂停。

接下来读什么

• 今日还有哪些重要变化Google DeepMind 发布 Gemini 4 Carbon，具备网络安全和长时程能力

2 家信源报道

这件事到目前为止

Anthropic 表示，自 6 月以来，它一直使用 Claude 的自我评估来标记对话中的潜在滥用情况，并且该技术已发现滥用情况。Claude 作出回应后，会对对话进行初步安全评估。标记用于后续审查，而非立即拦截；单个标记不会直接导致账户暂停。 根据 Baoyu 对该系统的说明，Anthropic 表示，自我评估使推理计算量增加不到 2%，不会向客户额外收费，也不会收集额外的用户数据。目前，与零数据保留协议相关的流量不在覆盖范围内。Anthropic 表示，在抽样的 Fable 5 流量中，该系统检测出了由独立评估器标记的对话中的 78%，误报率为 1%。