Import AI 460:社会规则可被奖励攻击、Anthropic 的 RSI 数据与 RL 无人机竞速
本期 Import AI 汇总三项研究:伦敦国王学院、复旦大学与 Alan Turing Institute 构建 SocioHack 基准,用 72 个沙盒社会环境测试 AI 在信用卡积分、学校评分等场景中钻规则空子的能力,RL 训练的 LLM 在历史环境中以 61.25% 召回率和 90.85% 精确率重新发现已被修补的漏洞。

本期 Import AI 汇总三项研究:伦敦国王学院、复旦大学与 Alan Turing Institute 构建 SocioHack 基准,用 72 个沙盒社会环境测试 AI 在信用卡积分、学校评分等场景中钻规则空子的能力,RL 训练的 LLM 在历史环境中以 61.25% 召回率和 90.85% 精确率重新发现已被修补的漏洞。
Import AI 459 讨论了 AI 监管的困难、蛋白质折叠模型的缩放定律,以及为 AI 系统灭绝风险定价。弗吉尼亚大学、Anthropic 与加拿大银行的经济学家估算,2025 年美国 AI 名义 GDP 约 2500 亿美元,质量调整后实际年增速约 2600%。美国 AI 算力支出从 2023 年 370 亿美元增至 2025 年 2190 亿美元,算力容量年增超 200%。
Import AI 第 458 期收录一篇基于 2026 年牛津大学 HAI Lab 与 Cosmos Institute 合作 Cosmos 讲座的长文,以及一篇设想"正向奇点"的虚构故事。文章以 Epoch Capabilities Index(ECI,覆盖 40+ 项基准)为线索,主张 AI 的持续进步迫使人们在"探索未来"与"回避当下"之间做出选择。
Lilian Weng 表示,她非常希望看到人机交互领域有更多合作与研究,并向读者介绍 @thinkymachines 为该领域研究人员提供的 100,000 美元及 Tinker 积分资助。提案截止日期为 6 月 19 日。 https://thinkingmachines.ai/news/interactivity-research-grants/
一些个人消息:我将在 Anthropic 开始一个新的研究项目。对此非常兴奋! 要让 AGI 顺利发展,需要做好很多方面,而对齐只是其中之一。很快会分享更多……
Jan Leike 写道,他很期待将自然语言激活(NLA)作为一种新的工具纳入可解释性工具箱。 在引用的帖子中,@saprmarks 将 NLA 介绍为一种无监督方法,可将大语言模型的内部状态转化为人类可读的文本,并表示相关结果有助于加深对大语言模型思维内容的理解,并对其进行安全审计。
Jan Leike 报告称,Claude 在可扩展监督研究上取得了完全自主的进展,衡量指标为恢复的性能差距(PGR)。 Claude 对多种不同技术进行迭代,最终以 1.8 万美元额度的成本,显著超越了人类研究人员。
Google 与康奈尔大学合作,让 GPT-4o、Perplexity、Claude 3.5、Gemini Advanced Pro 1.5、NotebookLM 和一套自建 RAG 系统回答 67 道高温超导专家级问题,由国际专家小组按六个维度盲评打分。
向Anthropic致敬,感谢其没有退让