vLLM 新增对 Step 5 Preview 的 Day-0 支持

发生了什么

🎉 vLLM 已在 Day-0 支持 Step 5 Preview。 涵盖稀疏注意力、MoE、多令牌预测和视觉功能，并针对 Blackwell 和 Hopper 开展服务支持工作。 相关工作涉及稀疏索引器、FP8 MegaMoE 和缓存传输；内核测试结果及更多详情见

这件事到目前为止

vLLM 宣布为 Step 5 Preview 提供 Day-0 支持，涵盖稀疏注意力、混合专家（MoE）、多 token 预测和视觉，并针对 Blackwell 和 Hopper 硬件开展了服务工作。vLLM 表示，该实现涵盖稀疏索引器、FP8 MegaMoE 和缓存传输，并分享了技术概述及内核测试结果。

继续阅读

正在热议

1. 1Meta 开放发布 Muse Spark Open，支持 Mac 和云端部署，位居美国开放权重模型榜首
2. 2Google 在全球推出 Gemini 4 Argon，并扩大付费访问范围，基准测试结果不一
3. 3OpenAI 为 ChatGPT 中的 GPT-6 Astra Pro 带来并行智能体和更快响应
4. 4Meta的新商业条款引发有关网站抓取和 AI 训练权利的争议