跳到正文

vLLM 声称,使用 Wide-EP 和 EPLB 的解码性能与 DeepInfer 相差不超过 6%

1篇报道 1个报道来源 2 小时前更新

先了解这件事

AI 综述

vLLM 表示,在 AgentX 工作负载和 200 P90 TPS 条件下,其 Wide-EP 和 EPLB 配置的解码性能可达到 DeepInfer 的 6% 以内。vLLM 还表示,在相同的工作负载和性能条件下,按 DeepSeek 的非高峰时段定价,每张 GPU 每小时可产生 39 美元收入。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月21日
  1. vLLM 报告称,在 AgentX 上的解码性能比 DeepInfer 低不到 6%

    vLLM 表示,Wide-EP 和 EPLB 使其解码性能与 DeepInfer 相差不到 6%;在 AgentX 工作负载上达到 200 P90 TPS 时,按 DeepSeek 的非高峰定价,每 GPU 每小时可产生 39 美元收入。 该帖子链接至更多详情:https://t.co/l0ZVo31hft。

明早 08:00 把这样一份日报发到你邮箱

和上面这份一样:几件值得看的事。免费,点确认信之后才会开始发送,每封信都能一键退订。 看一份往期日报

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。

继续阅读

最新日报 · 第 28 期Mistral AI 发布 Voxtral 3 语音模型和语音智能体 SDK

正在热议

  1. 1Mistral 发布 Voxtral 3 语音模型、语音智能体 API 和基于 LiveKit 的 SDK
  2. 2DeepSeek 开源 DeepInfer 和 API 组件,但模型与硬件支持有限
  3. 3OpenAI 收购 Orchestra Bio,拓展药物研发 AI 工具
  4. 4谷歌开始向 Android Auto 推出 Gemini 个人智能功能,搭载 Google Built-In 的汽车也将在之后支持