vLLM 发布 Speculators v0.9.0：投机解码训练更快、更轻量

发生了什么

Speculators v0.9.0 发布了——投机解码训练更快、更轻量 📷 融合损失内核让前向训练过程最高提速 2 倍，此外，FP8 隐藏状态后端可将存储空间减少 50%，且不损失质量。 训练更好的投机解码器，在 vLLM 中为其提供服务。做得好

这件事到目前为止

Red Hat AI 发布了 Speculators v0.9.0，新增用于推测解码训练的融合损失内核和 FP8 隐藏状态后端。vLLM 表示，融合损失内核可使前向训练过程提速至多 2 倍，而 FP8 隐藏状态后端可在不损失质量的情况下将存储量减少 50%。训练好的 speculators 可在 vLLM 中提供服务。

继续阅读