Kimi 和 DeepSeek 为何出现在同一张模型架构图里?
Kimi 和 DeepSeek,为什么出现在同一张模型架构图里?
发生了什么
GLM-5.3-Flash 的 45 层架构中,34 层采用 Kimi 路线的 KDA 线性注意力,11 层采用 DeepSeek 路线的 KPool-DSA 稀疏注意力,Linear 与 Sparse 首次被放进同一套模型。这一组合背后是 Attention 架构从寻找单一更优机制,转向让不同机制分工:Linear 低成本维持长历史,Sparse 按需找回具体信息。
继续阅读
最新日报 · 第 24 期NVIDIA 与 AI4Bharat 推出 Nemotron-pretraining-Indic-v1 及开放数据生成流水线正在热议
明早 08:00 把这样一份日报发到你邮箱
和上面这份一样:几件值得看的事。免费,点确认信之后才会开始发送,每封信都能一键退订。 看一份往期日报 · 2026-10-17
