vLLM v0.32.0 新增结构化决策端点和低精度 KV 更新

发生了什么

🚀 vLLM v0.32.0 发布！814 次提交 · 363 位贡献者 · 121 位首次贡献者 🧭 新增 /v1/systemone 结构化决策端点 + 通用 hf 工具/推理解析器 🗜️ 低精度 KV 覆盖所有场景：SM8x/90/12x 上的 NVFP4、GLM-5.x 默认使用 FP8 KV、ROCm 上的 4 位 KV 🛠️ Model Runner V2

这件事到目前为止

vLLM 发布了 v0.32.0，新增 /v1/systemone 结构化决策端点、通用 hf 工具/推理解析器，以及低精度 KV 更新。 此版本新增对 SM8x/90/12x 上 NVFP4 KV 的支持，将 FP8 KV 设为 GLM-5.x 的默认选项，并在 ROCm 上新增 4 位 KV 支持。版本还包含 Model Runner V2。

继续阅读

正在热议

1. 1DeepSeek 发布 V4.1-Flash-1017，现已上线 Ollama Cloud 并由美国境内托管
2. 2Google DeepMind 称四个 Gemini 4 Argon 智能体在无人类帮助下通关《我的世界》
3. 3Meta 删除引发网站抓取和 AI 训练担忧的商业条款措辞
4. 4Anthropic称，Claude利用时间戳初始化的生成器重构了五个NIST椭圆曲线种子