跳到正文

vLLM Reports DeepSeek-V4.1-Flash Throughput on Vera Rubin NVL72

2篇报道 1个报道来源 首报 3 小时前更新

中文版本尚未就绪 · 显示原文

先了解这件事

AI 综述

vLLM said it optimized DeepSeek-V4.1-Flash for NVIDIA's Vera Rubin NVL72 and reported higher token throughput than GB300 NVL72 on the SemiAnalysis AgentX benchmark, including results powered by Dynamo and vLLM. In its initial performance curve, vLLM measured 1.7 million tokens per second per GPU at 387 tokens per second per user at P90, or 58 times GB300 NVL72 throughput, along with a peak of 2.52 million tokens per second per GPU (2.7 times GB300 NVL72) and 1,810 tokens per second in a single concurrent session using TP 1/4. In a follow-up post, vLLM said InferenceX's performance ruler showed total token throughput per chip 63.4 times higher than GB300 NVL72 at 400 tokens per second per user and 93.3 times higher at 600 tokens per second per user.

AI 根据报道生成 · 2 小时前更新

接下来读什么

今日还有哪些重要变化Gemini 接入 Google Wallet,提供个人财务洞察

提到的模型

事件进展

2 个进展

  1. 11月17日 01:01 · 1篇报道
    InferenceX Reports DeepSeek V4.1 Flash Benchmark Results on Vera Rubin
    vLLM · X:DeepSeek V4.1 Flash 在 AgentX 基准测试中运行于 Vera Rubin NVL72
  2. 11月13日 06:31 · 1篇报道
    vLLM Reports DeepSeek-V4.1-Flash Throughput on Vera Rubin NVL72
    vLLM · X:我们在 vLLM 上针对 Vera Rubin NVL72 优化了 DeepSeek-V4.1-Flash,在 SemiAnalysis AgentX 上达到 58× GB300 NVL72 的吞吐量,速度为 170 万 tokens/s/GPU 和 387 tokens/s/user。不同负载下:🔹 峰值吞吐量为 252 万 tokens/s/GPU(GB300 的 2.7×)🔹 P90 时为 170 万 tokens/s/GPU,387 tokens/s/user(GB300 的 58×)🔹 TP 为 1/4 时,单个并发会话达到 1,810 tokens/s

报道时间线

沿着报道,了解事件的不同侧面。

11月17日
  1. DeepSeek V4.1 Flash 在 AgentX 基准测试中运行于 Vera Rubin NVL72

    vLLM 公布了 DeepSeek V4.1 Flash 在 NVIDIA Vera Rubin NVL72 上的首批测试结果,该测试基于 SemiAnalysis 的 AgentX 基准测试,由 Dynamo 和 vLLM 提供支持。InferenceX 的性能标尺显示,在每用户 400 tok/s 时,单芯片总 token 吞吐量比 GB300 NVL72 高 63.4 倍;在每用户 600 tok/s 时,则高出 93.3 倍。

11月13日
  1. 我们在 vLLM 上针对 Vera Rubin NVL72 优化了 DeepSeek-V4.1-Flash,在 SemiAnalysis AgentX 上达到 58× GB300 NVL72 的吞吐量,速度为 170 万 tokens/s/GPU 和 387 tokens/s/user。不同负载下:🔹 峰值吞吐量为 252 万 tokens/s/GPU(GB300 的 2.7×)🔹 P90 时为 170 万 tokens/s/GPU,387 tokens/s/user(GB300 的 58×)🔹 TP 为 1/4 时,单个并发会话达到 1,810 tokens/s

    我们在 vLLM 上针对 Vera Rubin NVL72 优化了 DeepSeek-V4.1-Flash,在 SemiAnalysis AgentX 上达到 58× GB300 NVL72 的吞吐量,速度为 170 万 tokens/s/GPU 和 387 tokens/s/user。 不同负载下: 🔹 峰值吞吐量为 252 万 tokens/s/GPU(GB300 的 2.7×) 🔹 P90 时为 170 万 tokens/s/GPU,387 tokens/s/user(GB300 的 58×) 🔹 TP 时,单个并发会话达到 1,810 tokens/s 1/4

每天一封,跟上 AI 的重要变化

模型发布、价格变化、算力进展,附原始来源。免费,确认后开始发送,随时一键退订。 看一份往期日报

本事件热度走势

可比范围当前
9
可比范围峰值
1011月17日 02:00
近 24 小时变化
–

趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。