DeepInfer 如何协调异步调度以执行 DeepSeek-V4.1-Flash 推理
DeepSeek 又一开源重器！深挖 DeepInfer 究竟藏着多少技术狠活？
- 谁
- 雷峰网
- 做了什么
- explainedDeepSeek's DeepInfer inference engine and its scheduling and deployment techniques
- 引文
DeepInfer 的 Zero-Overhead Batch Scheduler 借鉴了 SGLang、NanoFlow 等已有异步调度实践。
发生了什么
DeepSeek-V4.1-Flash 背后的推理引擎 DeepInfer 通过让 CPU 调度与 GPU 计算重叠，减少解码时的空闲时间。雷锋网介绍了其异步调度器如何处理在途 token、序列状态修正、延迟资源释放，以及跨专家并行 GPU 的协调。目前，开源版本支持离线推理，但部分在线基础设施尚不可用；DeepSeek 尚未单独发布能够隔离调度器贡献的完整端到端加速测量结果。
推荐理由
对调度器的讲解提供了一条可迁移的工程经验：让 CPU 与 GPU 工作重叠，同时在各个解码步骤之间保持序列状态、缓存分配和资源生命周期的正确性。
接下来读什么
查看这件事的完整进展DeepSeek 开源 DeepInfer；vLLM 报告称解码性能与其持平这件事到目前为止
DeepSeek 已在 Apache 2.0 许可下开源 DeepInfer，并发布了据其称在生产环境中为 DeepSeek-V4.1-Flash 提供支持的推理框架；vLLM 报告称，在 DeepSeek 的解码配置下，其性能与 DeepInfer 持平。该比较涵盖批次大小 8 至 256，vLLM 使用 DEP32，DeepInfer 则使用 EP64DP64。vLLM 表示，DeepInfer 最初主要基于 vLLM 构建。 据 Baoyu 介绍，DeepInfer 目前仅支持在 Nvidia Blackwell SM100 或 Huawei Ascend 950 硬件上运行 V4.1-Flash；此次发布提供的是离线推理组件，在线服务还需要额外的基础设施。Leiphone 解释称，其异步调度器让 CPU 调度与 GPU 计算重叠，以减少解码期间的空闲时间，并在采用专家并行的 GPU 之间协调正在处理的 token、序列状态修正和资源释放。 DeepSeek 还发布了 deepseek-recipe。Baoyu 报道称，这款采用 MIT 许可证的配套软件包提供 Python 和 Rust 实现，支持 V4 和 V4.1，可转换常见的 OpenAI 和 Anthropic 请求格式及模型输出，使其与 DeepSeek 官方 API 保持一致。
每天一封，跟上 AI 的重要变化
模型发布、价格变化、算力进展，附原始来源。免费，确认后开始发送，随时一键退订。 看一份往期日报 · 2026-10-29