vLLM 中的双向 KV 传输如何提升多轮智能体工作负载的 TTFT

发生了什么

AWS 介绍了 vLLM 中的双向 KV 传输如何让预填充节点在不同对话轮次间复用解码节点保留的 KV 块。在 Amazon EC2 P5en 实例上使用 EFA、并禁用预填充前缀缓存进行的 1P1D 基准测试中，Qwen3-32B 的 TTFT 最高提升 1.6 倍，zai-org/GLM-5-FP8 最高提升 3.3 倍。本指南涵盖路由、保留控制、重计算阈值，以及如何使用 vLLM v0.21.0 或更高版本和 NixlConnector 复现实验；结果取决于工作负载和部署配置。

这件事到目前为止

AWS 发布了 vLLM 双向 KV 传输指南。根据其基准测试，Qwen3-32B 的首个令牌生成时间（TTFT）最高改善 1.6 倍，zai-org/GLM-5-FP8 最高改善 3.3 倍。测试使用了 Amazon EC2 P5en 实例和 EFA，配置为一个预填充实例和一个解码实例，并禁用了预填充前缀缓存；结果取决于工作负载和部署配置。 该机制使预填充节点能够重用解码节点在多轮对话中保留的缓存上下文。通常，解码实例会在生成完成后释放请求的 KV 块。在双向模式下，这些块会保留一段可配置的时间（默认 480 秒），并公布其位置和过期时间，以便重复使用。 AWS 的配置要求使用 vLLM v0.21.0 或更高版本及 NixlConnector，在预填充服务器和解码服务器上启用双向传输，并使用能够考虑 KV 缓存位置的路由器。指南还介绍了保留控制、重新计算上下文的阈值，以及复现基准测试的步骤。

继续阅读