5915 次浏览 · 115 赞 · 22 转发 （收录时）
vLLM 在批量大小 8 到 256 的范围内，性能匹配 DeepInfer，运行模型为 DeepSeek-V4.1-Flash
- 谁
- vLLM
- 引文
vLLM matches DeepInfer, DeepSeek's own engine for DeepSeek-V4.1-Flash, on DeepSeek's decode configuration across batch sizes 8 to 256, and does it at DEP32 against DeepInfer’s EP64DP64.
发生了什么
在 DeepSeek-V4.1-Flash 的 DeepSeek 解码配置下，批量大小为 8 到 256 时，vLLM 的性能匹配 DeepInfer（DeepSeek 自研的引擎）；vLLM 使用 DEP32，而 DeepInfer 使用 EP64DP64。 DeepInfer 最初基于 vLLM 构建。通过集成 DeepSeek 的开源内核以及
原帖含 1 个链接接下来读什么
查看这件事的完整进展DeepSeek 开源 DeepInfer；vLLM 报告称解码性能与其持平vLLM matches DeepInfer, DeepSeek's own engine for DeepSeek-V4.1-Flash, on DeepSeek's decode configuration across batch sizes 8 to 256, and does it at DEP32 against DeepInfer’s EP64DP64.
DeepInfer was originally built on vLLM. By integrating DeepSeek's open-source kernels and https://t.co/0vOvFGa7GG
这件事到目前为止
DeepSeek 已在 Apache 2.0 许可下开源 DeepInfer，并发布了据其称在生产环境中为 DeepSeek-V4.1-Flash 提供支持的推理框架；vLLM 报告称，在 DeepSeek 的解码配置下，其性能与 DeepInfer 持平。该比较涵盖批次大小 8 至 256，vLLM 使用 DEP32，DeepInfer 则使用 EP64DP64。vLLM 表示，DeepInfer 最初主要基于 vLLM 构建。 据 Baoyu 介绍，DeepInfer 目前仅支持在 Nvidia Blackwell SM100 或 Huawei Ascend 950 硬件上运行 V4.1-Flash；此次发布提供的是离线推理组件，在线服务还需要额外的基础设施。Leiphone 解释称，其异步调度器让 CPU 调度与 GPU 计算重叠，以减少解码期间的空闲时间，并在采用专家并行的 GPU 之间协调正在处理的 token、序列状态修正和资源释放。 DeepSeek 还发布了 deepseek-recipe。Baoyu 报道称，这款采用 MIT 许可证的配套软件包提供 Python 和 Rust 实现，支持 V4 和 V4.1，可转换常见的 OpenAI 和 Anthropic 请求格式及模型输出，使其与 DeepSeek 官方 API 保持一致。
每天一封，跟上 AI 的重要变化
模型发布、价格变化、算力进展，附原始来源。免费，确认后开始发送，随时一键退订。 看一份往期日报 · 2026-10-31