Anthropic 的 Boris Cherny 与 Gray Swan 合作举办提示注入竞赛

发生了什么

过去几年里，我们在 Claude 模型的提示注入问题上取得了显著进展。随着智能体承担的任务越来越多，整个行业亟须解决这一问题。 非常期待与 Gray Swan 合作举办这场竞赛。迫不及待想看看你们会有哪些发现！ @GraySwanAI 宣布推出名为“间接提示注入：黑”的 AI 红队挑战赛，奖金总额为 300,000 美元。该挑战赛由 Anthropic、Meta、Google DeepMind、Reflection AI 及其他前沿实验室赞助商共同合作举办。Cherny 表示，Anthropic 在 Claude 模型的提示注入问题上取得了显著进展，而整个行业亟须解决这一问题。

2 篇报道

这件事到目前为止

Anthropic 将与 Gray Swan 合作举办提示注入竞赛，Boris Cherny 宣布了这一消息。Gray Swan 此前宣布举办这项挑战赛，奖金为 30 万美元，并获得多家前沿实验室的支持。 Gray Swan 将这项 AI 红队挑战赛命名为“间接提示注入：黑”，并将 Anthropic、Meta、Google DeepMind、Reflection AI 等前沿实验室列为合作伙伴或赞助方。Cherny 表示，过去几年 Anthropic 在 Claude 模型的提示注入防护方面取得了显著进展；他同时指出，随着智能体承担的任务越来越多，整个行业解决这一问题也变得愈发紧迫。

继续阅读

正在热议

1. 1Meta 开放发布 Muse Spark Open，支持 Mac 和云端部署，位居美国开放权重模型榜首
2. 2Google 在全球推出 Gemini 4 Argon，并扩大付费访问范围，基准测试结果不一
3. 3OpenAI 为 ChatGPT 中的 GPT-6 Astra Pro 带来并行智能体和更快响应
4. 4Meta的新商业条款引发有关网站抓取和 AI 训练权利的争议