Google DeepMind 发布 Decoupled DiLoCo 分布式训练架构
Decoupled DiLoCo: A new frontier for resilient, distributed AI training
发生了什么
Google DeepMind 发布 Decoupled DiLoCo 分布式训练架构，把大规模训练拆成异步通信的计算孤岛，降低带宽需求并隔离硬件故障。测试中该系统在整块 learner unit 掉线后仍能继续训练并重新接入，用 Gemma 4 模型达到与传统方法相同的 ML 性能。
推荐理由
原文给出跨数据中心异步训练在带宽、容错和跨代硬件上的实测结果，可据此判断分布式预训练的工程取舍。
继续阅读
最新日报 · 第 24 期NVIDIA 与 AI4Bharat 推出 Nemotron-pretraining-Indic-v1 及开放数据生成流水线正在热议
明早 08:00 把这样一份日报发到你邮箱
和上面这份一样：几件值得看的事。免费，点确认信之后才会开始发送，每封信都能一键退订。 看一份往期日报 · 2026-10-17