vLLM v0.31.0 发布，支持 DeepSeek-V4.1-Flash 并实现快速重启

发生了什么

vLLM v0.31.0 现已发布，包含 307 位贡献者提交的 717 个提交，其中 96 位是首次贡献者。主要亮点包括：支持 DeepSeek-V4.1-Flash，搭配 FlashMLA Mega Attention 和 NVFP4 KV 缓存；通过 vllm preload 快速重启路径将权重保留在 GPU 内存中；支持 Model Runner V2 推测解码；以及 MoonEP 均衡全互联通信和 DeepEPv2 等大规模服务功能。完整发行说明见 GitHub。

继续阅读

正在热议

1. 1Meta 开放发布 Muse Spark Open，支持 Mac 和云端部署，位居美国开放权重模型榜首
2. 2Google 在全球推出 Gemini 4 Argon，并扩大付费访问范围，基准测试结果不一
3. 3OpenAI 为 ChatGPT 中的 GPT-6 Astra Pro 带来并行智能体和更快响应
4. 4Meta的新商业条款引发有关网站抓取和 AI 训练权利的争议