谷歌研究院推出面向大语言模型持续学习的“睡眠”框架

谷歌研究院推出了一种“睡眠”框架，在大型语言模型中交替进行主动交互与离线记忆巩固；据报告，在序列翻译评估中性能损失几乎为零，在 BABILong 上扩展至 10M 个 token 时表现近乎完美。 该框架旨在将短期上下文中的信息转化为存储在模型参数中的持久知识。在固定架构内，它会启用预先分配的混合专家（MoE）记忆块，将短期信息提炼到参数中，并使用模型自身生成的精选示例进行训练。谷歌研究院将这种周期性学习过程描述为一种让大语言模型保留新知识并提升推理能力的方法。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。