vLLM 为没有置信度头的草稿模型添加自适应验证

发生了什么

直到一个月前，vLLM 中的自适应验证还需要搭配自带训练好的置信度头的草稿模型。现在，它已支持你正在部署的草稿模型：不带置信度头的 MTP、EAGLE、DFlash 和 DSpark 检查点。无需重新训练。 信号早已存在于草稿模型中

这件事到目前为止

vLLM 表示，其自适应验证现已支持现有的 MTP、EAGLE、DFlash 和 DSpark 草稿模型检查点，这些检查点没有经过训练的置信度头，且无需重新训练。此前，该功能要求草稿模型带有经过训练的置信度头；此次变更使用户能够将其应用于这些现有检查点。

继续阅读

正在热议

1. 1Meta 开放发布 Muse Spark Open，支持 Mac 和云端部署，位居美国开放权重模型榜首
2. 2Google 在全球推出 Gemini 4 Argon，并扩大付费访问范围，基准测试结果不一
3. 3OpenAI 为 ChatGPT 中的 GPT-6 Astra Pro 带来并行智能体和更快响应
4. 4Meta的新商业条款引发有关网站抓取和 AI 训练权利的争议