456 次浏览 · 5 赞 · 0 转发 （收录时）
DeepSeek 开源其生产级推理框架 DeepInfer
- 谁
- DeepSeek
- 时间
- 引文
🚀 Introducing DeepInfer, our in-house inference framework, now fully open source!
发生了什么
DeepSeek 宣布，其自研推理框架 DeepInfer 现已完全开源，该框架大规模支撑着 DeepSeek-V4.1-Flash。 Nathan Lambert 称，这是推动模型普及的一种很特别的方式，也对社区大有裨益；他还提到，此举的时机颇耐人寻味，因为据他所述，政府已禁止联邦机构使用 DeepSeek。 http://github.com/deepseek-ai/DeepInfer https://twitter.com/deepseek_ai/status/2112476496283775135
接下来读什么
查看这件事的完整进展DeepSeek 开源 DeepInfer；vLLM 报告称解码性能与其持平5 家信源报道
This is really a wild way to get adoption on your models.
Really great for the community, and the timing is hilarious given the govt just banned deepseek in federal agencies. https://twitter.com/deepseek_ai/status/2112476496283775135
🚀 Introducing DeepInfer, our in-house inference framework, now fully open source! Powering DeepSeek-V4.1-Flash at scale with high throughput and low latency. We’re sharing our production stack to help the community lower compute costs, reduce energy use, and make AI more affordable. 🔗 http://github.com/deepseek-ai/DeepInfer 1/4在 X 查看被引用的帖子
这件事到目前为止
DeepSeek 已在 Apache 2.0 许可下开源 DeepInfer，并发布了据其称在生产环境中为 DeepSeek-V4.1-Flash 提供支持的推理框架；vLLM 报告称，在 DeepSeek 的解码配置下，其性能与 DeepInfer 持平。该比较涵盖批次大小 8 至 256，vLLM 使用 DEP32，DeepInfer 则使用 EP64DP64。vLLM 表示，DeepInfer 最初主要基于 vLLM 构建。 据 Baoyu 介绍，DeepInfer 目前仅支持在 Nvidia Blackwell SM100 或 Huawei Ascend 950 硬件上运行 V4.1-Flash；此次发布提供的是离线推理组件，在线服务还需要额外的基础设施。Leiphone 解释称，其异步调度器让 CPU 调度与 GPU 计算重叠，以减少解码期间的空闲时间，并在采用专家并行的 GPU 之间协调正在处理的 token、序列状态修正和资源释放。 DeepSeek 还发布了 deepseek-recipe。Baoyu 报道称，这款采用 MIT 许可证的配套软件包提供 Python 和 Rust 实现，支持 V4 和 V4.1，可转换常见的 OpenAI 和 Anthropic 请求格式及模型输出，使其与 DeepSeek 官方 API 保持一致。
每天一封，跟上 AI 的重要变化
模型发布、价格变化、算力进展，附原始来源。免费，确认后开始发送，随时一键退订。 看一份往期日报 · 2026-10-31