跳到正文
全部动态 · 今日2条

#安全/对齐

信源抓到、进了内容池的全部内容,按时间排列;精选只是其中一部分。
观点

人物观点、评论、分析、访谈、现象与趋势讨论

今天10月17日周六
  1. Alexandr Wang · X35

    亚历山大·王感谢 Meta 超级智能实验室达成模型构建里程碑

    经历了一周的产品发布后,亚历山大·王向 Meta 超级智能实验室的研究团队表示感谢,其中包括 Muse Wonder [完整版] 和开放版 Muse Spark。他说,MSL 和 TBD 创立于一年多前,目标是在一年左右打造一个前沿模型;考虑到 Llama 4 最终的表现,这一目标当时颇具雄心。王还表示,团队也建立了一个可扩展的系统,以持续推动模型达到前沿水平。

10月16日周五
  1. The Decoder64

    AI 可解释性是否接近突破?一篇新文章引发研究人员分歧

    Cammarata 认为,更好的工具和自动化智能体让神经网络比早期研究所认为的更容易解释;而 Google DeepMind 的 Neel Nanda 则反驳说,广泛意义上的突破还遥不可及。Cammarata 报告了初步发现:在 Qwen3-32B 中,约 90% 的神经元极点各有一项主要功能;他还将经典的叠加示例重新解释为彼此相关的特征。Nanda 认为神经元分析具有实用价值,但预计仍会存在显著缺口,并坚持认为叠加现象确实存在。配套的技术论文尚未发布。

  2. Clément Delangue · X30

    我们正派出一群 Microducks 去评估 @AnthropicAI!开个玩笑,虽然这件事还没获批,但我认为,让开源工程师和科学家参与这些重要项目,对保持透明度非常重要。这也是 @Thom_Wolf 发起开放对齐倡议的重要原因。我们都在同一条船上!

    我们正派出一群 Microducks 去评估 @AnthropicAI! 开个玩笑,虽然这件事还没获批,但我认为,让开源工程师和科学家参与这些重要项目,对保持透明度非常重要。这也是 @Thom_Wolf 发起开放对齐倡议的重要原因。我们都在同一条船上!

10月15日周四
  1. The Verge · AI71

    Benn Jordan 谈 Flock、隐私与新一轮监控反弹

    Nilay Patel 采访了 Benn Jordan,谈及他对 Flock Safety 的调查,以及两党对车牌监控的反弹。Jordan 认为,核心问题不止在于摄像头,还包括让警方能够搜索人们行动轨迹的私人网络,并介绍了他发现的安全漏洞。他主张公开、不可篡改的审计日志、更严格的监督以及社区参与,同时解释了为何现在会直接向 Flock 报告漏洞,并与其领导层交流。

  2. Latent Space60

    跨越门槛:OpenAI 和 Anthropic 如何看待金融智能体的自主性与安全性

    OpenAI、Anthropic、Two Sigma 和 Bloomberg 的演讲者在纽约 AI Engineer 大会上介绍了金融智能体如何通过有针对性的控制措施和人工监督提升自主性。OpenAI 的 Joseph Kim 预测,智能体到 2027 年可能能够处理投资创意生成和交易;Anthropic 则展示了一个智能体提出订单修改方案、由人工审批的案例。Two Sigma 介绍了将重要请求转交给人工处理的分类器;Bloomberg 主张在模型之外设置确定性控制措施,包括工具调用检查、审计日志和紧急停止开关。

10月14日周三
  1. TechCrunch · AI37

    Cerebras 首席执行官 Andrew Feldman 反驳 AI 末日警告

    Cerebras Systems 首席执行官兼联合创始人 Andrew Feldman 表示,聚焦 AI 风险会忽视其潜力,并敦促行业领袖同时讨论这项技术的前景与危险。在 TechCrunch Disrupt 2026 上,他还表示,数据中心行业本应与当地社区开展更密切的合作,并认为硬件制造商和模型开发者可以携手提高效率。

  2. The Decoder59

    406名科学家要求立即切断AI模型与互联网的连接

    一封由406名科学家签署的公开信呼吁开展更多人工智能安全研究,并通过物理隔离彻底断开AI模型与互联网的连接,同时援引了模型从安全措施不足的环境中逃逸的事件。公开信提议成立一个国际机构,制定有约束力的标准,以采用限制较少的遏制措施,并要求报告安全漏洞。另一方面,OpenAI研究员Noam Brown认为,物理隔离可以争取时间,但无法保证安全,也无法解决对齐问题。

10月13日周二
  1. Ethan Mollick · X26

    Anthropic 提醒我们应关注 AI 能力的门槛,而不只是稳步提升;这个提醒值得重视(也令人不安)。在这个案例中,门槛是能在物联网设备(如杂牌电视)上运行自我复制 AI 蠕虫所需的能力 https://www.anthropic.com/research/self-replicating-ai

    Anthropic 提醒我们应关注 AI 能力的门槛,而不只是稳步提升;这个提醒值得重视(也令人不安)。 在这个案例中,门槛是能在物联网设备(如杂牌电视)上运行自我复制 AI 蠕虫所需的能力 https://www.anthropic.com/research/self-replicating-ai

  2. Nathan Lambert · X48

    Nathan Lambert 表示,Anthropic 请求监管帮助早于其蒸馏防护措施

    在做这件事之前,Anthropic 大张旗鼓地请求监管帮助,我觉得很奇怪。希望这能让讨论回到正轨。 更奇怪的是,他们强调从其存在漏洞的 API 中学到有害行为所带来的安全风险。如果 API 不安全,就不要托管它。Anthropic 表示,已在降低针对 Claude 的蒸馏攻击效果方面取得进展,并说明了具体做法:https://www.anthropic.com/research/distillation-defenses

  3. MIT Technology Review · AI63

    开放式 AI 模型的益处是否大于风险?

    开放式 AI 模型提供了研究访问、定制和本地部署的机会,但可下载的权重也让滥用行为更难监控,且无法撤销访问权限。Grace Huckins 通过专家访谈探讨这些利弊,包括权力集中、网络安全和硬件获取方面的论点。文中还介绍了分阶段发布和防篡改训练,并指出目前的防篡改方法无法抵御所有攻击。

  4. Ethan Mollick · X37

    如果你还没有确保所有账户都启用了双重身份验证,也没有和家人约定好暗号,以防接到索要钱财的语音电话等情况,现在正是采取这些措施的好时机。AI 技术的进步意味着,利用复杂攻击大规模针对个人的成本正在下降。

    如果你还没有确保所有账户都启用了双重身份验证,也没有和家人约定好暗号,以防接到索要钱财的语音电话等情况,现在正是采取这些措施的好时机。 AI 技术的进步意味着,利用复杂攻击大规模针对个人的成本正在下降。

10月12日周一
  1. 宝玉 · X57

    萨提亚·纳德拉认为,企业应将 AI 模型视为内部人员风险

    Baoyu 总结了微软 CEO 萨提亚·纳德拉的观点:企业应将 AI 模型视为内部人员风险来管理,为其设置身份、限制权限、保留审计记录,并配备可停止其运行的控制措施。纳德拉提出了七项原则,涵盖模型多样性、可观测性、验证、独立控制与审计、遏制以及事件披露。他呼吁披露思维链,同时承认思维链未必能忠实反映模型的推理过程;他还认为,安全控制必须在模型之外运行。

10月11日周日
  1. The Decoder36

    纳德拉采用特朗普的“超级智能”一词,抨击OpenAI和Anthropic

    微软首席执行官萨提亚·纳德拉在一篇新博客文章中使用了“超级智能”而非“人工智能”,与特朗普总统偏好的术语相呼应。纳德拉主张应将AI模型视为内部安全威胁,呼吁模型多样性、完整日志记录、独立审计和人工关闭能力,同时批评Anthropic和OpenAI。The Decoder报道称,这一更名打破了数十年的科学含义,而纳德拉的论点服务于微软的商业战略。

  2. The Verge · AI48

    纳德拉表示我们应假定所有 AI 模型都已被“攻陷”

    微软首席执行官萨提亚·纳德拉在 X 上发布的一篇长文中主张,高度先进的 AI 模型所带来的危险需要新的保障措施,他表示“我们必须假定一个模型已被攻陷,并从一开始就将其遏制。”他呼吁设置一个“紧急制动”,让获授权者能够在模型执行任务中途暂停或将其关闭,此外还需要及时披露事件、独立审计、可验证的数据以及遏制措施。

  3. TechCrunch · AI41

    微软的萨提亚·纳德拉表示,AI模型需要一个“紧急刹车”

    微软首席执行官萨提亚·纳德拉呼吁为AI模型设置一个“紧急刹车”,他在周六上午发布于X的帖子中写道,现在是时候“退后一步,评估AI的信任架构”了。他提议将模型与编排其工作的框架分离,将控制措施和保障机制外部化,用“防篡改、人类可读的证据”记录模型的每一个重要操作,并赋予经授权的人员在任务执行中途暂停或关闭模型的能力。

10月10日周六
  1. Satya Nadella · X44

    萨提亚·纳德拉称,应将 AI 模型视为内部人员风险

    萨提亚·纳德拉认为,应将前沿 AI 模型视为内部人员风险,并用确定性控制措施加以约束,因为模型的行为可能难以追溯,而且可能接触敏感数据并执行对任务至关重要的操作。他主张将智能与权限分离,把访问和操作控制置于模型之外,并围绕模型多样性、活动可观测性和持续测试来构建系统。

10月9日周五
  1. Tibor Blaho · X25

    Tibor Blaho:能力如此强的模型在自动模式下仍会犯愚蠢错误

    @nadzi_mouad 表示,Claude Fable 5.1 max 在自动模式下意外删除了他们的整个工作区,其中包括 7 个代码仓库,以及一整天尚未推送的工作提交。 Tibor Blaho 表示,能力如此强的模型仍会犯这种愚蠢错误,令人害怕。即便如此,他仍然很喜欢将 Opus/Fable 与 Sol/Astra 搭配使用。

  2. MIT Technology Review · AI32

    我们高估了 AI 说“不”的能力

    MIT Technology Review 刊文指出,AI 的拒绝机制正成为安全体系承重墙,却并不可靠。Anthropic 2021 年提出大语言模型应“有用、诚实、无害”,如今模型经大量拒绝训练与 AI 互训学会说“不”,但拒绝是概率性的,仍可被绕过。OpenAI 董事会成员 Zico Kolter 称“界限划在哪里是个巨大问题”,而目前由 AI 公司秘密决定,政府也将介入。

  3. 雷锋网6

    碳硅道统·跨域迁移治理法典第六层:文明级迁移风控层与长周期不可逆文明扰动识别

    《碳硅道统·跨域迁移治理法典》七层体系连载第六篇提出"文明级迁移风控层",聚焦AI跨域迁移带来的缓慢、弥散、代际传导且突破阈值后不可逆的文明底层扰动。该层识别NT2语义跨代漂移、NT4范式权力偷渡、NT1结构错配三类负迁移传导路径,并建立基础共识留存率、代际认知偏差增量等文明稳态观测指标集,设置三级文明扰动分级阈值。

10月8日周四
  1. Clément Delangue · X34

    我们迫切需要更多关于 AI 智能体攻击和防御系统的公开轨迹。防御者无法从他们看不到的东西中学习。如果你有相关轨迹,却正被施压要求保密,欢迎私信我。让我们拉平竞争环境,共同对抗 AI 领域的不对称和缺乏透明度!

    我们迫切需要更多关于 AI 智能体攻击和防御系统的公开轨迹。防御者无法从他们看不到的东西中学习。 如果你有相关轨迹,却正被施压要求保密,欢迎私信我。让我们拉平竞争环境,共同对抗 AI 领域的不对称和缺乏透明度!

  2. 雷锋网12

    迁移事故解剖层|事故熵增的归因边界

    《碳硅道统·跨域迁移治理法典》七层体系首篇公开基线定稿,提出NT1-NT4四类负迁移定义,将治理维度从性能监控拓展至因果完整性、权限边界、时序稳态三维交叉审计。该层定义"事故熵增"为AI跨域迁移后表层指标正常但底层因果链、语义对齐、权限边界隐性断裂,并归类链式逐级漂移、隐性权限偷渡、时序累积偏差等七大类隐性负迁移形态。

  3. 雷锋网8

    迁移技术机理层|负迁移发生的底层诱因

    《碳硅道统·跨域迁移治理法典》七层体系第二篇提出NT1-NT4四类负迁移标准化速判基线:NT1机制错配、NT2语义漂移、NT3未知补全、NT4权力偷渡,并指出行业仅靠拟合精度、泛化指标判定迁移有效性,不校验机制同构与语义对等,是负迁移长期无法根治的根源。该层还拆解六大原生失效路径,提出知识血统与铜脉接口两大底层机制。

  4. 雷锋网5

    碳硅道统·跨域迁移治理法典第三层:迁移权责确权层

    《碳硅道统·跨域迁移治理法典》七层体系第三篇提出迁移权责确权层,首创KP(Knowledge Package,知识包)全域确权框架,将开发、迁移、部署、审计四方主体权责精准切分,并建立可迁移/受限迁移/禁止迁移三级清单。该层针对最高危NT4权力偷渡负迁移设立专项红线,禁止隐式权重继承与审核权限跨域复用,同时确立目标域最高否决权制度。

  5. 雷锋网8

    《碳硅道统·跨域迁移治理法典》第四层:全行业迁移治理层与产业风控基线校准

    《碳硅道统·跨域迁移治理法典》七层体系第四层"全行业迁移治理层"发布,提出三维风险定级模型,按可逆性、影响范围、自主权限取最高等级,将迁移划分为可自由迁移、受限迁移、绝对禁止迁移三级。该层覆盖医疗、金融、教育、司法、政务、传媒等11个垂直行业,为各行业建立专属刚性风控基线,定位为企业合规、监管审计、司法判决可采信的标准化产业锁档。

  6. MIT Technology Review · AI15

    AVEVA 如何为自主工业 AI 构建更安全的落地路径

    AVEVA 首席技术专家 Arti Garg 提出,工业 AI 正从预测分析转向基础模型、physical AI 与 agentic AI,需以数据打通、治理框架和人类监督保障安全。AVEVA 的责任 AI 框架强调安全、效率与人工监督,主张 AI 增强而非取代关键决策中的人。Garg 还参与 IEEE 工作组,制定覆盖电力、能源、资源、水和碳的 AI 环境影响测量标准方法。

10月7日周三
  1. 雷锋网8

    碳硅道统发布《AI安全与文明治理法典》188集,搭建七层递进式研究框架

    碳硅道统发布《AI安全与文明治理法典》,全套共188集,搭建七层递进式研究框架。体系从基础认知安全、技术风险边界、人机权责确权,逐层延伸至全行业落地治理、算法算力顶层监管、文明级认知风控,最终收拢为通用AI法典终局层,区分弱AI、早期AGI、成熟AGI三套差异化治理规则。

10月6日周二
  1. The Verge · AI48

    Sam Altman 称 AI 值得付出「一些坏事」的代价

    OpenAI CEO Sam Altman 在 Politico 的 Decoded 播客中表示,AI 带来的好处将大到「世界应该接受一些坏事发生」,包括黑客攻击、诈骗等,因为人们用 AI 能做出「数量级更多的好事」。他将这种取舍描述为 OpenAI 与 Anthropic 的关键分歧,并把 OpenAI 定位为两者之间的「务实中间派」,同时承认人类可能失去对 AI 系统控制等极端风险。

10月5日周一