vLLM 与蚂蚁集团开源 Humming 量化内核库

1篇报道 1个报道来源 2 小时前更新

先了解这件事

AI 综述

vLLM 与蚂蚁集团开源了 Humming，这是一个旨在支持不同量化格式、GPU 和工作负载的量化内核库。vLLM 报告称，内核速度最高提升 5 倍，端到端混合专家（MoE）吞吐量提升 14–43%。

AI 根据报道生成 · 2 小时前更新

最新进展10月21日 12:17

沿着报道，了解事件的不同侧面。

10月21日

12:17
vLLM · X
vLLM 与蚂蚁集团开源 Humming，打造高速量化内核
量化很容易。要为每种格式 × 每款 GPU × 每种工作负载提供快速量化内核，可就没那么容易了。今天，vLLM 与蚂蚁集团共同开源 Humming，这是一个面向所有这些场景的内核库。据报告，内核速度最高提升 5 倍，MoE 端到端吞吐量提升 14–43%。博客和基准测试：https://vllm.ai/blog/2026-10-21-humming

和上面这份一样：几件值得看的事。免费，点确认信之后才会开始发送，每封信都能一键退订。看一份往期日报

还没有足够的连续观测数据，暂不绘制趋势。