vLLM 报告 Kimi K3 在 NVIDIA GB300 NVL72 上的解码性能

发生了什么

Kimi K3 在 NVIDIA GB300 NVL72 上的解码性能：使用 DSpark 时，批量大小为 1 的吞吐量达到 842 tokens/s 🚀 统一的 CuTe DSL 解码路径融合了注意力、MoE 和通信，在若干经过测试的配置中实现了 1.5–2× 的解码吞吐量提升，并使 P90 交互性最高提升 1.8×

这件事到目前为止

vLLM 报告称，Kimi K3 在 NVIDIA GB300 NVL72 上使用 DSpark，批量大小为 1 时达到每秒 842 个 token。vLLM 表示，统一的 CuTe DSL 解码路径融合了注意力、混合专家（MoE）运算和通信，在若干测试配置中实现了高出 1.5–2 倍的解码吞吐量。

继续阅读

正在热议

1. 1DeepSeek 发布 V4.1-Flash-1017，现已上线 Ollama Cloud 并由美国境内托管
2. 2Meta 删除引发网站抓取和 AI 训练担忧的商业条款措辞
3. 3Anthropic称，Claude利用时间戳初始化的生成器重构了五个NIST椭圆曲线种子
4. 4Meta 开源发布 Muse Spark Open，支持 Mac 和云端，在美国开放权重模型指数中排名第一