DeepSeek 开源 DeepInfer；vLLM 报告称解码性能与其持平

1. 22:14
   雷锋网精选

   DeepInfer 如何协调异步调度以执行 DeepSeek-V4.1-Flash 推理

   DeepSeek-V4.1-Flash 背后的推理引擎 DeepInfer 通过让 CPU 调度与 GPU 计算重叠，减少解码时的空闲时间。雷锋网介绍了其异步调度器如何处理在途 token、序列状态修正、延迟资源释放，以及跨专家并行 GPU 的协调。目前，开源版本支持离线推理，但部分在线基础设施尚不可用；DeepSeek 尚未单独发布能够隔离调度器贡献的完整端到端加速测量结果。

1. 01:59
   vLLM · X

   vLLM 在批量大小 8 到 256 的范围内，性能匹配 DeepInfer，运行模型为 DeepSeek-V4.1-Flash

   在 DeepSeek-V4.1-Flash 的 DeepSeek 解码配置下，批量大小为 8 到 256 时，vLLM 的性能匹配 DeepInfer（DeepSeek 自研的引擎）；vLLM 使用 DEP32，而 DeepInfer 使用 EP64DP64。 DeepInfer 最初基于 vLLM 构建。通过集成 DeepSeek 的开源内核以及 https://t.co/0vOvFGa7GG

1. 14:54
   Latent Space精选

   DeepSeek 发布 DeepInfer 推理栈，并公布以缓存为主的生产环境数据

   DeepSeek 开源了 DeepInfer，这是 V4.1 Flash 背后的推理引擎，并报告称单集群吞吐量达到每天 155 万亿个 token，输入缓存命中率为 96%。Latent Space 分析了其架构，并指出重要的 KV 缓存管理和服务编排组件仍未包含在此次发布中。该分析还将每加速器小时 38 美元的报告收入与利润率估算和回本预测区分开来，同时称在配置匹配的情况下，vLLM 自行报告的解码吞吐量与 DeepInfer 相差不到 6%。

2. 02:56
   The Decoder精选

   DeepSeek 开源 DeepInfer：驱动 V4.1-Flash 的推理框架

   DeepSeek 已根据 Apache License 2.0 开源其内部推理框架 DeepInfer，该框架为 V4.1-Flash 提供支持。DeepInfer 基于 vLLM 构建，包含经过优化的计算内核、跨多颗芯片的分布式处理，以及更快的文本生成技术。DeepSeek 还将发布 deepseek-recipe，以便在自托管环境中复现官方 API 的令牌处理方式，并表示未来模型的代码也将开源。

1. 22:44
   宝玉 · X

   DeepSeek 开源了推理框架 DeepInfer 及配套的 deepseek-recipe 组件

   DeepSeek 以 Apache 2.0 许可证开源了用于生产环境的 DeepSeek-V4.1-Flash 推理框架 DeepInfer，同时发布了 deepseek-recipe。Baoyu 报道称，DeepInfer 目前仅支持在 Blackwell SM100 或 Ascend 950 硬件上运行 V4.1-Flash，并发布了离线推理组件；在线服务还需要额外的基础设施。采用 MIT 许可证的 deepseek-recipe 提供了 Python 和 Rust 实现，支持 V4 和 V4.1，可转换常见的 OpenAI 和 Anthropic 请求格式及模型输出，以与 DeepSeek 的官方 API 保持一致。

2. 19:43
   Nathan Lambert · X

   DeepSeek 开源其生产级推理框架 DeepInfer

   DeepSeek 宣布，其自研推理框架 DeepInfer 现已完全开源，该框架大规模支撑着 DeepSeek-V4.1-Flash。 Nathan Lambert 称，这是推动模型普及的一种很特别的方式，也对社区大有裨益；他还提到，此举的时机颇耐人寻味，因为据他所述，政府已禁止联邦机构使用 DeepSeek。 http://github.com/deepseek-ai/DeepInfer https://twitter.com/deepseek_ai/status/2112476496283775135

3. 17:47
   vLLM · X精选

   DeepSeek 开源 DeepInfer 推理框架，获 vLLM 致谢

   DeepSeek 宣布推出 DeepInfer，这是其自研推理框架，为 DeepSeek-V4.1-Flash 提供大规模、高吞吐量和低延迟推理支持。 vLLM 感谢 DeepSeek 以 Apache 2.0 许可证发布该框架，并表示它最初主要基于 vLLM 构建；vLLM 计划借鉴其中的思路，以提升推理效率。 http://github.com/deepseek-ai/DeepInfer

4. 17:30
   DeepSeek · X精选

   DeepSeek 开源其自研推理框架 DeepInfer

   🚀 隆重推出 DeepInfer，我们自研的推理框架，现已全面开源！ 以高吞吐量和低延迟，为 DeepSeek-V4.1-Flash 提供大规模支持。我们分享这套生产级技术栈，帮助社区降低计算成本、减少能源消耗，让 AI 更加普惠。 🔗 http://github.com/deepseek-ai/DeepInfer 1/4

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。