vLLM 与蚂蚁集团开源 Humming，打造高速量化内核

发生了什么

量化很容易。要为每种格式 × 每款 GPU × 每种工作负载提供快速量化内核，可就没那么容易了。 今天，vLLM 与蚂蚁集团共同开源 Humming，这是一个面向所有这些场景的内核库。据报告，内核速度最高提升 5 倍，MoE 端到端吞吐量提升 14–43%。 博客和基准测试：https://vllm.ai/blog/2026-10-21-humming

这件事到目前为止

vLLM 与蚂蚁集团开源了 Humming，这是一个旨在支持不同量化格式、GPU 和工作负载的量化内核库。vLLM 报告称，内核速度最高提升 5 倍，端到端混合专家（MoE）吞吐量提升 14–43%。

继续阅读

正在热议

1. 1Mistral 发布 Voxtral 3 语音模型、语音智能体 API 和基于 LiveKit 的 SDK
2. 2DeepSeek 开源 DeepInfer 和 API 组件，但模型与硬件支持有限
3. 3OpenAI收购Orchestra Bio，拓展用于药物研发的AI工具
4. 4谷歌开始向 Android Auto 推出 Gemini 个人智能功能，搭载 Google Built-In 的汽车也将在之后支持