vLLM 发布 v0.32.0，新增结构化决策和低精度 KV 更新

vLLM 发布了 v0.32.0，新增 /v1/systemone 结构化决策端点、通用 hf 工具/推理解析器，以及低精度 KV 更新。 此版本新增对 SM8x/90/12x 上 NVFP4 KV 的支持，将 FP8 KV 设为 GLM-5.x 的默认选项，并在 ROCm 上新增 4 位 KV 支持。版本还包含 Model Runner V2。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。