ReplaySSM 支持已接入 vLLM，据报告可提升解码速度并已用于生产环境

1篇报道 1个报道来源 4 天前更新

先了解这件事

AI 综述

vLLM 表示，vLLM 已支持 ReplaySSM，可用于 Mamba2 标准解码和由 FlashInfer 支持的多 token 预测（MTP）。它通过缓存状态空间模型（SSM）的输入，并仅在需要时更新检查点，减少循环状态的内存流量。在 vLLM 引述的帖子中，@zwljohnny 报告称，ReplaySSM 已用于 GLM-5.3-Flash 和 Kimi-K3 的生产环境，并已在 TensorRT-LLM、vLLM、FlashInfer 和 SGLang 中提供。@zwljohnny 报告称，标准解码速度最高提升 1.47x，推测解码速度最高提升 2.1x；还表示 ReplaySSM 支持低精度 SSM 状态，其舍入误差不会在递推过程中传播。

AI 根据报道生成 · 4 天前更新

最新进展10月13日 12:35

ReplaySSM 报告称解码速度有所提升且已用于生产环境，目前已支持 vLLM vLLM · X

报道时间线

沿着报道，了解事件的不同侧面。

10月13日

12:35
vLLM · X
ReplaySSM 报告解码加速和生产应用，vLLM 已提供支持
vLLM 称赞了 @zwljohnny、@tri_dao 和 @NVIDIA 的 ReplaySSM 工作，并表示 Mamba2 标准解码和基于 FlashInfer 的 MTP 支持已在 vLLM 中提供。缓存 SSM 输入，并仅在需要时更新检查点，可减少循环状态的内存流量。在被引用的帖子中，@zwljohnny 报告称，ReplaySSM 已用于 GLM-5.3-Flash 和 Kimi-K3 的生产环境，并已在 TensorRT-LLM、vLLM、FlashInfer 和 SGLang 中提供；标准解码最高提速 1.47x，推测解码最高提速 2.1x；低精度 SSM 状态的舍入误差不会沿递归传播。

ReplaySSM 支持已接入 vLLM，据报告可提升解码速度并已用于生产环境

先了解这件事

报道时间线

继续阅读

正在热议