阅读
工具
关于
AWS为vLLM推出了基于推送的NIXL连接器，并报告称，在Qwen3-32B基准测试中，与拉取模式相比，首个令牌时间（TTFT）最多提升3倍，每个输出令牌时间（TPOT）最多改善30%。这些结果来自Amazon EC2 P5en实例上的1P1D部署，且禁用了EFA和前缀缓存；性能会因工作负载和配置而异。 该连接器面向将预填充与解码分离的推理部署。它在预填充期间并行进行目标端注册，并将传输准备工作移至后台线程，从而把协调和初始化工作移出预填充后的关键路径。推送模式要求更早选择解码实例。AWS表示，对于需要双向KV传输的工作负载，或需要等预填充完成后再选择解码实例、根据负载路由请求的工作负载，拉取模式仍然更合适。
AI 根据报道生成 · 2 小时前更新
沿着报道，了解事件的不同侧面。
AWS 介绍了面向 vLLM 的基于推送的 NIXL 连接器。该连接器将目标端注册与预填充并行处理，并将传输准备工作移至后台线程。在一项 Qwen3-32B 基准测试中，测试采用配备 EFA 的 Amazon EC2 P5en 实例进行 1P1D 部署，并禁用了前缀缓存。与拉取模式相比，推送模式的 TTFT 最多提升 3 倍，TPOT 最多提升 30%，具体结果因工作负载和配置而异。文章详细介绍了其架构、基准测试复现方法，以及更早选择解码实例所带来的路由权衡。
和上面这份一样：几件值得看的事。免费，点确认信之后才会开始发送，每封信都能一键退订。 看一份往期日报
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。
