阅读
工具
关于
Red Hat AI 发布了 Speculators v0.9.0，新增用于推测解码训练的融合损失内核和 FP8 隐藏状态后端。vLLM 表示，融合损失内核可使前向训练过程提速至多 2 倍，而 FP8 隐藏状态后端可在不损失质量的情况下将存储量减少 50%。训练好的 speculators 可在 vLLM 中提供服务。
AI 根据报道生成 · 3 小时前更新
沿着报道，了解事件的不同侧面。
Speculators v0.9.0 发布了——投机解码训练更快、更轻量 📷 融合损失内核让前向训练过程最高提速 2 倍，此外，FP8 隐藏状态后端可将存储空间减少 50%，且不损失质量。 训练更好的投机解码器，在 vLLM 中为其提供服务。做得好：https://t.co/FO7I7N75dC
和上面这份一样：几件值得看的事。免费，点确认信之后才会开始发送，每封信都能一键退订。 看一份往期日报
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。
