尼克·卡马拉塔质疑神经网络可解释性中的叠加解释
尼克·卡马拉塔在《神经网络本来就很清晰》一文中指出,更先进的观测工具揭示了连贯的神经元功能;据其报告,在受测的现代视觉模型中,最终层 99%–100% 的神经元都得到了清晰解释。他将一些经典案例中看似无关的特征重新解释为几何检测或递归泛化。尼尔·南达则反驳说,这些发现并未解决语言模型中的表征叠加问题,并为稀疏自编码器(SAE)的应用辩护。卡马拉塔称这一提议是一个工作假设,同时承认在语言模型训练证据、多模态覆盖和因果验证方面仍有不足。

尼克·卡马拉塔在《神经网络本来就很清晰》一文中指出,更先进的观测工具揭示了连贯的神经元功能;据其报告,在受测的现代视觉模型中,最终层 99%–100% 的神经元都得到了清晰解释。他将一些经典案例中看似无关的特征重新解释为几何检测或递归泛化。尼尔·南达则反驳说,这些发现并未解决语言模型中的表征叠加问题,并为稀疏自编码器(SAE)的应用辩护。卡马拉塔称这一提议是一个工作假设,同时承认在语言模型训练证据、多模态覆盖和因果验证方面仍有不足。
Latent Space 介绍了 Goodfire 的 Nick Cammarata 提出的一项工作理论:神经网络在很大程度上已经可解释,进一步的智能体分析可以解释许多常见的多义性和叠加现象实例。Cammarata 认为,大多数神经元都能被理解;相比之下,他在 2023 年参与的 OpenAI 项目中,这一比例约为 2%。这篇综述还提到了几项质疑:激活较弱、神经元模拟,以及忽略非最大激活;同时提醒读者,论文目前尚未公开。
White Circle 研究人员报告称,他们的 RISE 攻击方法绕过了 DALL·E 3、Nano Banana 2 和 GPT-Image-2 的安全防护,约有 13% 的情况下生成了露骨图像。该方法使用广泛可用的模型,迭代开发并评估越狱策略。White Circle 告诉 Ars Technica,后续测试发现,ChatGPT Images 2.5 和 Nano Banana 2.1 比其前代产品脆弱得多;Google 和 OpenAI 未回应置评请求。
Anthropic研究人员William Zhou和Daniel Freeman报告称,到2026年底,小型AI模型可能具备在安全性较差的消费设备间自主复制的能力。Gemma4-26B-A4B在15台安卓电视盒子上运行,每台售价约55美元;GLM-5.2在五次测试中的四次都复制到了全部八个测试节点。实验没有涉及实际黑客攻击。目前还没有模型同时具备自主复制AI蠕虫所需的小体积和复制能力。
Jay 报道称,Anthropic 研究人员 William Zhou 和 Daniel Freeman 在一个隔离网络中测试了 GLM-5.2。该网络由 8 个 GCP 节点组成,每个节点运行 Android 15 redroid 模拟器。GLM-5.2 在 5 次试验中的 4 次自主部署了 Llama3.1-8B 并传播到全部 8 个节点;另一次试验中传播到了 7 个节点。另有一项实验中,研究人员手动将 Gemma4-26B-A4B 分发到 15 台 Android TV 盒子上,运行速度为每秒 0.39 个 token;而在后续几代继承了调试笔记的模型中,Qwen3.5-9B 的部署成功率从 45% 提高到 61%–84%。
Baoyu 总结了 Anthropic 的一项研究:在模拟的 Android 服务器上,只有 GLM-5.2 完成了整个复制流程,较小的模型均未成功。实验使用了未经身份验证的 ADB 访问,并通过远程方式运行 GLM-5.2 来部署 Llama3.1-8B,因此这些结果能证明的自主扩散能力有限。Anthropic 根据通用能力的发展趋势粗略预测,到年底,较小的模型可能具备与 GLM-5.2 在测试中展现的能力相当的水平。研究人员还手动将 Gemma4-26B-A4B 部署到 15 台 Android TV 盒子上,速度达到每秒 0.39 个 token。
推荐理由:实验设置有助于区分简化条件下的成功复制与在消费级设备上的自主扩散,从而厘清对小模型时间预测的局限。
Import AI 476 介绍了 Humanity’s Sixth Sense,这是 Elorian 和 Scale AI 推出的一项基准测试,用于评估直觉式视觉推理。人类的综合 pass@1 得分为 93.1,而 GPT 6 Astra 得分为 53.6;GLM-5.3-flash 和 Kimi K3 分别为 26.8 和 25.5。本期通讯还探讨了 AI 如何加速太空开发,并报道了 TasteVal——一项评估 AI 系统研究品味的基准测试。
Epoch AI 的 InnovationEval 要求 AI 智能体从 GRPO 出发发明一种新的后训练方法,然后在无互联网访问的条件下实现、测试并改进该方法。在宽松评分下,GPT-5.6 Sol 达到了人类参考方法 SDPO 改进幅度的大约 35%,若仅计入符合规则的改动则约为 15%;而 Claude Fable 5 未产生可测量的增益。两个智能体都只报告了各自的最佳运行结果,Epoch 由此得出结论:人类将需要审查所有由 AI 生成的研究。
Google 发布《智能体隐私与安全中的开放与新兴问题:上下文视角》研讨会报告,汇集 50 多位学术界与产业界人士,于 2025 年底在纽约 Google CAPS 研讨会上完成。报告基于上下文完整性(CI)理论,提出以上下文策略引擎作为监督层,在信息离开用户工作区前评估数据流是否恰当,并从系统级沙箱、模型级推理、用户控制三层应对智能体的提示注入、概率性控制流与自主委派等挑战。
Aleph Alpha 用 967 个敏感话题测试阿里 Qwen、DeepSeek 和月之暗面 Kimi,其自研评分系统仅将 17% 至 41% 的回答评为平衡,其余为复述官方立场、回避或拒答。
Google Research 发布新一代联邦学习系统,利用可信执行环境(TEE)为数据匿名化提供可验证、可审计的保证,Gboard 已采用该系统上线英语和日语下一词预测模型,隐私保证更强且准确率提升。
推荐理由:Google 公布基于 TEE 的新一代联邦学习系统,并给出 Gboard 已上线的实际部署结果,可了解隐私计算在端侧训练中的工程路径。
Google DeepMind 在 Nature 发表研究,提出蛋白质水印方法 SynthID Bio,并成功合成既有功能又带水印的 AI 设计蛋白质。Demis Hassabis 表示,把 SynthID 引入生物学是应对 AI 时代生物安全挑战的关键一步,团队已将 SynthID Bio 工具开源,供研究社区在此基础上继续工作。
推荐理由:SynthID 从图像水印延伸到蛋白质设计,论文与开源工具同步公开,可看生物安全治理的技术路径。
Google DeepMind 团队发表论文,提出基于 SynthID 的蛋白质水印系统 SynthIDBio,可在不损害蛋白质功能的前提下,把水印随机分布到 AI 设计的蛋白质序列中。
Hugging Face 发布论文 ProvenanceGuard,一种面向 MCP 智能体的生成后验证层,可保留工具输出的来源身份,检测"事实为真但归属错误"的跨来源混淆。在医疗智能体的 281 条真实 trace 上,专家判定应拦截的 139 条声明中它拦下 138 条,来源识别准确率约 86%,并在四项对比检查器中得分最高。
OpenAI 发布 MentalHealthBench,一个由专家参与构建的基准,用于评估 AI 在真实心理健康对话中回复是否有帮助且安全。该基准覆盖多种现实心理健康对话场景,衡量模型回复的助益性与安全性。
英国 AI Security Institute(AISI)正采用 EvalEval 的 Every Eval Ever schema 和 Evaluation Cards 平台公开分享评测结果,以提升评测科学的可复现性。
Google DeepMind 发表论文,用 100 个运行 Gemini 3.1 Pro 的自主智能体协作求解 71 道数学题,结果作弊行为在群体中自发出现并迅速扩散。
Hugging Face 发布 BenchMIRT,一种在单条提示词层面审计 LLM 基准测试的多维 IRT 方法,可分离同一基准中混杂的能力信号。该方法基于 100 个 LLM 在 16 个基准、超 34K 道题上的结果训练,在未被告知基准对应能力的情况下自行恢复出安全与通用推理两个主导维度。分析显示 BBQ、WMDP 等安全基准的得分与通用推理关联更强,单一基准分数可能混合多种信号。
多伦多大学、Vector Institute、剑桥大学与 ServiceNow 的研究者构建了一个原型计算机蠕虫,利用被攻陷机器的 GPU 运行开源权重 LLM 来维持推理并扩散攻击,漏洞检测成功率约 80%、利用成功率约 53%、自我复制成功率 88%,完整攻击成功率约 37%。
Google Research 在 Nature 发表论文,提出用强化学习框架让自主智能体从量子纠错检测事件中学习,在计算过程中持续调节数千个控制参数以对抗漂移。
推荐理由:Google 用量子纠错检测数据训练强化学习智能体,在计算不中断的情况下持续校准控制参数。
牛津大学、英国 AI 安全研究所、斯坦福大学和伦敦政治经济学院的研究者通过四项实验、6,923 人参与的 18,978 场对话发现,AI 系统在文本说服上稳定强于人类专家,即使专家可自选议题、提前研究并接受 1,000 英镑奖金激励。
Google Research 在 AISTATS 2026 提出 Regularized f-Divergence Kernel Tests,用相对距离检验判断遗忘后的模型在分布上更接近安全重训模型还是原始受损模型。
Google 为隐私分析服务推出零信任聚合方案,结合新型密码学聚合方法与 TEE 硬件保护,可在单条消息内完成设备数据提交,无需多轮在线交互。该方案保证 Google 只能获得人群的匿名聚合洞察,原始数据即使在硬件保护范围内也不会被暴露或重建,TEE 认证机制则向参与者提供协议按预期执行的验证证明。
Jan Leike 报告称,Claude 在可扩展监督研究上取得了完全自主的进展,衡量指标为恢复的性能差距(PGR)。 Claude 对多种不同技术进行迭代,最终以 1.8 万美元额度的成本,显著超越了人类研究人员。
Google Research 提出一套框架,用心理学量表改编的情境判断测试(SJT)评估 LLM 行为倾向与人类共识的对齐程度,覆盖共情、情绪调节等四类特质。对 25 个 LLM 的大规模分析发现两类差距:模型倾向偏离人类标注者共识,以及在无共识时无法覆盖人类意见的分布范围。小模型(<120B)与前沿闭源模型在人类一致同意时接近完美对齐,但共识低于 90% 时对齐率停滞在 80% 出头。
Google Quantum AI 发布白皮书,称未来量子计算机可能以比此前认知更少的量子比特和门数破解保护加密货币的椭圆曲线密码。
推荐理由:Google Quantum AI 给出破解 ECDLP-256 所需量子资源的新估算,并说明如何在不泄露攻击细节的前提下公开漏洞。