AWS 发布了 vLLM 双向 KV 传输指南。根据其基准测试，Qwen3-32B 的首个令牌生成时间（TTFT）最高改善 1.6 倍，zai-org/GLM-5-FP8 最高改善 3.3 倍。测试使用了 Amazon EC2 P5en 实例和 EFA，配置为一个预填充实例和一个解码实例，并禁用了预填充前缀缓存；结果取决于工作负载和部署配置。
该机制使预填充节点能够重用解码节点在多轮对话中保留的缓存上下文。通常，解码实例会在生成完成后释放请求的 KV 块。在双向模式下，这些块会保留一段可配置的时间（默认 480 秒），并公布其位置和过期时间，以便重复使用。
AWS 的配置要求使用 vLLM v0.21.0 或更高版本及 NixlConnector，在预填充服务器和解码服务器上启用双向传输，并使用能够考虑 KV 缓存位置的路由器。指南还介绍了保留控制、重新计算上下文的阈值，以及复现基准测试的步骤。
AI 根据报道生成 · 2 小时前更新
