265 次浏览 · 0 赞 · 0 转发 （收录时）
DeepSeek 开源了推理框架 DeepInfer 及配套的 deepseek-recipe 组件
- 谁
- DeepSeek
- 时间
- 引文
DeepSeek 把自家线上服务用的推理框架 DeepInfer 开源了，还一起开源了配套组件 deepseek-recipe。
发生了什么
DeepSeek 以 Apache 2.0 许可证开源了用于生产环境的 DeepSeek-V4.1-Flash 推理框架 DeepInfer，同时发布了 deepseek-recipe。Baoyu 报道称，DeepInfer 目前仅支持在 Blackwell SM100 或 Ascend 950 硬件上运行 V4.1-Flash，并发布了离线推理组件；在线服务还需要额外的基础设施。采用 MIT 许可证的 deepseek-recipe 提供了 Python 和 Rust 实现，支持 V4 和 V4.1，可转换常见的 OpenAI 和 Anthropic 请求格式及模型输出，以与 DeepSeek 的官方 API 保持一致。
接下来读什么
查看这件事的完整进展DeepSeek 开源 DeepInfer；vLLM 报告称解码性能与其持平5 家信源报道
DeepSeek 开源自家推理框架 DeepInfer：Apache 2.0 可商用，目前只支持 V4.1-Flash，要用 Blackwell 或昇腾 950 这类数据中心显卡
DeepSeek 把自家线上服务用的推理框架 DeepInfer 开源了，还一起开源了配套组件 deepseek-recipe。
模型文件只是一堆训练好的参数，好比一本菜谱。接单、排队、在显卡上把答案算出来，靠的是推理框架，相当于后厨的出餐系统。出餐系统调度得好，同样的显卡能多接几倍的单，每个人等得也更短。
DeepSeek 说 DeepInfer 就是支撑 V4.1-Flash 大规模服务的那一套，开源是为了帮大家省算力、省电。
它最主要的提速手段叫投机解码。大模型平时一个字一个字往外写，每写一个字都要把整个模型算一遍。投机解码让一个轻量的“草稿手”先猜后面几个字（默认最多 5 个），大模型一次核对完，猜对的直接收下，猜错的重写。
普通用户不会直接用到它。它要跑在英伟达 Blackwell 一代的数据中心显卡（代号 SM100）或华为昇腾 950 上，官方测性能用了 4 到 64 块这样的卡，个人电脑跑不动。模型也只支持 V4.1-Flash 一个，官方说以后新模型的推理代码也会放进来。
用得上的是想自己部署 DeepSeek 的企业和云服务商，可以直接拿 DeepSeek 调好的方案。不过这次放出的只是“离线推理”部分，缓存对话前文的系统、把读输入和写输出拆到不同机器的部署方式、多台机器间的流量分配都没包含，要搭成完整的线上服务还得自己补。
deepseek-recipe 管的是另一个问题：自己部署的 DeepSeek，在提示词怎么拼、工具调用怎么解析这些细节上，可能和官方 API 对不上。
deepseek-recipe 像前台接单员，把 OpenAI 和 Anthropic 的几种常见请求格式统一翻译成 DeepSeek 模型能读的输入，再把模型输出的思考过程、工具调用等翻译回去，逻辑和官方 API 对齐。
DeepInfer 用 Apache 2.0 协议，允许免费商用和修改。deepseek-recipe 用 MIT 协议，同样可以商用，有 Python 和 Rust 版本，支持 V4 和 V4.1。
DeepInfer：https://github.com/deepseek-ai/DeepInfer
deepseek-recipe：https://github.com/deepseek-ai/deepseek-recipe
🚀 Introducing DeepInfer, our in-house inference framework, now fully open source! Powering DeepSeek-V4.1-Flash at scale with high throughput and low latency. We’re sharing our production stack to help the community lower compute costs, reduce energy use, and make AI more affordable. 🔗 http://github.com/deepseek-ai/DeepInfer 1/4在 X 查看被引用的帖子
这件事到目前为止
DeepSeek 已在 Apache 2.0 许可下开源 DeepInfer，并发布了据其称在生产环境中为 DeepSeek-V4.1-Flash 提供支持的推理框架；vLLM 报告称，在 DeepSeek 的解码配置下，其性能与 DeepInfer 持平。该比较涵盖批次大小 8 至 256，vLLM 使用 DEP32，DeepInfer 则使用 EP64DP64。vLLM 表示，DeepInfer 最初主要基于 vLLM 构建。 据 Baoyu 介绍，DeepInfer 目前仅支持在 Nvidia Blackwell SM100 或 Huawei Ascend 950 硬件上运行 V4.1-Flash；此次发布提供的是离线推理组件，在线服务还需要额外的基础设施。Leiphone 解释称，其异步调度器让 CPU 调度与 GPU 计算重叠，以减少解码期间的空闲时间，并在采用专家并行的 GPU 之间协调正在处理的 token、序列状态修正和资源释放。 DeepSeek 还发布了 deepseek-recipe。Baoyu 报道称，这款采用 MIT 许可证的配套软件包提供 Python 和 Rust 实现，支持 V4 和 V4.1，可转换常见的 OpenAI 和 Anthropic 请求格式及模型输出，使其与 DeepSeek 官方 API 保持一致。
每天一封，跟上 AI 的重要变化
模型发布、价格变化、算力进展，附原始来源。免费，确认后开始发送，随时一键退订。 看一份往期日报 · 2026-10-31