Google Research 介绍一种用于 LLM 持续学习的睡眠框架
The sleep framework: A new way for LLMs to retain knowledge in continual learning
发生了什么
Google Research 介绍了一种睡眠框架，通过交替进行主动交互和离线记忆巩固，帮助 LLM 保留新知识并提升推理能力。在固定架构内，该框架启用预先分配的 MoE 记忆块，将短期信息提炼到参数中，并使用经过筛选的模型自生成示例进行训练。报告的结果包括：在序列翻译评估中性能损失接近于零；在 BABILong 上扩展至 10M tokens 时，性能几乎完美。
推荐理由
该框架提供了一种通过离线巩固保留新知识的具体方法，并利用额外的记忆容量和有选择的复习来减少对先前所学能力的干扰。
接下来读什么
查看这件事的完整进展谷歌研究院推出面向大语言模型持续学习的“睡眠”框架这件事到目前为止
谷歌研究院推出了一种“睡眠”框架，在大型语言模型中交替进行主动交互与离线记忆巩固；据报告，在序列翻译评估中性能损失几乎为零，在 BABILong 上扩展至 10M 个 token 时表现近乎完美。 该框架旨在将短期上下文中的信息转化为存储在模型参数中的持久知识。在固定架构内，它会启用预先分配的混合专家（MoE）记忆块，将短期信息提炼到参数中，并使用模型自身生成的精选示例进行训练。谷歌研究院将这种周期性学习过程描述为一种让大语言模型保留新知识并提升推理能力的方法。
每天一封，跟上 AI 的重要变化
模型发布、价格变化、算力进展，附原始来源。免费，确认后开始发送，随时一键退订。 看一份往期日报 · 2026-10-27