ReplaySSM 报告解码加速和生产应用，vLLM 已提供支持

发生了什么

vLLM 称赞了 @zwljohnny、@tri_dao 和 @NVIDIA 的 ReplaySSM 工作，并表示 Mamba2 标准解码和基于 FlashInfer 的 MTP 支持已在 vLLM 中提供。 缓存 SSM 输入，并仅在需要时更新检查点，可减少循环状态的内存流量。 在被引用的帖子中，@zwljohnny 报告称，ReplaySSM 已用于 GLM-5.3-Flash 和 Kimi-K3 的生产环境，并已在 TensorRT-LLM、vLLM、FlashInfer 和 SGLang 中提供；标准解码最高提速 1.47x，推测解码最高提速 2.1x；低精度 SSM 状态的舍入误差不会沿递归传播。

这件事到目前为止

vLLM 表示，vLLM 已支持 ReplaySSM，可用于 Mamba2 标准解码和由 FlashInfer 支持的多 token 预测（MTP）。它通过缓存状态空间模型（SSM）的输入，并仅在需要时更新检查点，减少循环状态的内存流量。 在 vLLM 引述的帖子中，@zwljohnny 报告称，ReplaySSM 已用于 GLM-5.3-Flash 和 Kimi-K3 的生产环境，并已在 TensorRT-LLM、vLLM、FlashInfer 和 SGLang 中提供。@zwljohnny 报告称，标准解码速度最高提升 1.47x，推测解码速度最高提升 2.1x；还表示 ReplaySSM 支持低精度 SSM 状态，其舍入误差不会在递推过程中传播。

继续阅读

正在热议

1. 1Meta 开放发布 Muse Spark Open，支持 Mac 和云端部署，位居美国开放权重模型榜首
2. 2Google 在全球推出 Gemini 4 Argon，并扩大付费访问范围，基准测试结果不一
3. 3OpenAI 为 ChatGPT 中的 GPT-6 Astra Pro 带来并行智能体和更快响应
4. 4Meta的新商业条款引发有关网站抓取和 AI 训练权利的争议