Heaps do lie：排查 vLLM 内存泄漏

发生了什么

Mistral AI 团队在 vLLM 上排查一起内存泄漏：在 Mistral Medium 3.1、启用 graph compilation 的 Prefill/Decode 分离部署中，系统内存以每分钟 400 MB 线性增长，数小时后触发 out of memory。Heaptrack 显示堆内存稳定，泄漏发生在堆之外，最终定位到经 NIXL 与 UCX 的 KV Cache 传输环节。

继续阅读

正在热议

1. 1Meta 开放发布 Muse Spark Open，支持 Mac 和云端部署，位居美国开放权重模型榜首
2. 2Google 在全球推出 Gemini 4 Argon，并扩大付费访问范围，基准测试结果不一
3. 3OpenAI 为 ChatGPT 中的 GPT-6 Astra Pro 带来并行智能体和更快响应
4. 4Meta的新商业条款引发有关网站抓取和 AI 训练权利的争议