Hugging Face 提出高效知识蒸馏方法：离线 Top-K Logits 与融合分块 KL Loss

发生了什么

Hugging Face 最新论文提出两项系统改进，让大语言模型知识蒸馏的训练成本大幅下降：离线缓存教师模型的 top-100 logits，使教师模型无需与学生模型同时驻留显存；融合分块 KL loss 避免生成完整的词表×序列长度矩阵。

继续阅读

正在热议

1. 1Meta 开放发布 Muse Spark Open，支持 Mac 和云端部署，位居美国开放权重模型榜首
2. 2Google 在全球推出 Gemini 4 Argon，并扩大付费访问范围，基准测试结果不一
3. 3OpenAI 为 ChatGPT 中的 GPT-6 Astra Pro 带来并行智能体和更快响应
4. 4Meta的新商业条款引发有关网站抓取和 AI 训练权利的争议