vLLM 发布 v0.33.0，新增模型并更新推测解码

发生了什么

vLLM 已发布 v0.33.0。该版本基于 927 个提交构建，共有 389 位贡献者参与，其中 122 位是首次贡献者。此版本新增对 Reflection Beam-1.0、Step-5 Preview、Nemotron Parse 3.5 和 MiniCPM-OCR 1.0 的支持，并提供 PyTorch 2.14 wheel，要求 CUDA 13.0，且 libtorch ABI 稳定。推测解码方面的更新包括 XPress refiner 和 FLy lossy verify。

接下来读什么

• 今日还有哪些重要变化Hugging Face 提议为 Transformers 制定模型集成契约

这件事到目前为止

vLLM 发布了 0.33.0 版本，支持 Reflection Beam-1.0、Step-5 Preview、Nemotron Parse 3.5 和 MiniCPM-OCR 1.0。该版本还为推测解码新增了 XPress 精炼器和 FLy 有损验证功能。 其 PyTorch 2.14 wheel 要求 CUDA 13.0，且保持 libtorch ABI 稳定。vLLM 表示，该版本包含 389 位贡献者提交的 927 个 commit，其中有 122 位是首次贡献者。