基于推送的 KV 传输如何改善 vLLM 的 TTFT 和 TPOT
Push-based KV transfer to improve TTFT and TPOT for disaggregated inference in vLLM
- 谁
- AWS
- 引文
This post introduces a push-based NIXL connector that moves post-prefill transfer coordination and setup off the critical path.
发生了什么
AWS 介绍了面向 vLLM 的基于推送的 NIXL 连接器。该连接器将目标端注册与预填充并行处理，并将传输准备工作移至后台线程。在一项 Qwen3-32B 基准测试中，测试采用配备 EFA 的 Amazon EC2 P5en 实例进行 1P1D 部署，并禁用了前缀缓存。与拉取模式相比，推送模式的 TTFT 最多提升 3 倍，TPOT 最多提升 30%，具体结果因工作负载和配置而异。文章详细介绍了其架构、基准测试复现方法，以及更早选择解码实例所带来的路由权衡。
推荐理由
这项对比说明了将 KV 传输设置与预填充并行处理在何种情况下可以降低延迟，同时指出部署要使用推送模式，就必须接受更早选择解码实例。
这件事到目前为止
AWS为vLLM推出了基于推送的NIXL连接器，并报告称，在Qwen3-32B基准测试中，与拉取模式相比，首个令牌时间（TTFT）最多提升3倍，每个输出令牌时间（TPOT）最多改善30%。这些结果来自Amazon EC2 P5en实例上的1P1D部署，且禁用了EFA和前缀缓存；性能会因工作负载和配置而异。 该连接器面向将预填充与解码分离的推理部署。它在预填充期间并行进行目标端注册，并将传输准备工作移至后台线程，从而把协调和初始化工作移出预填充后的关键路径。推送模式要求更早选择解码实例。AWS表示，对于需要双向KV传输的工作负载，或需要等预填充完成后再选择解码实例、根据负载路由请求的工作负载，拉取模式仍然更合适。
继续阅读
最新日报 · 第 26 期VAST 开源 EdenLive 世界模型，720P 下生成速度超过 24FPS明早 08:00 把这样一份日报发到你邮箱
和上面这份一样：几件值得看的事。免费，点确认信之后才会开始发送，每封信都能一键退订。 看一份往期日报 · 2026-10-19