DeepSeek 开源其自研推理框架 DeepInfer

发生了什么

🚀 隆重推出 DeepInfer，我们自研的推理框架，现已全面开源！ 以高吞吐量和低延迟，为 DeepSeek-V4.1-Flash 提供大规模支持。我们分享这套生产级技术栈，帮助社区降低计算成本、减少能源消耗，让 AI 更加普惠。 🔗 http://github.com/deepseek-ai/DeepInfer 1/4

2 家信源报道

这件事到目前为止

DeepSeek 已在 GitHub 上开源其内部开发的推理框架 DeepInfer，并发布了据其称为 DeepSeek-V4.1-Flash 提供大规模支持的生产技术栈。DeepSeek 表示，该框架具有高吞吐量和低延迟，并希望帮助社区降低计算成本、减少能源使用，让 AI 更加普及。 vLLM 感谢 DeepSeek 以 Apache 2.0 许可证发布 DeepInfer，并表示该框架最初主要基于 vLLM 构建。vLLM 团队表示，计划借鉴 DeepInfer 的理念来提升推理效率。

继续阅读

正在热议

1. 2MiniMax 发布 M3.1 Flash，基准测试得分更高，任务成本低于 M3
2. 3Anthropic承诺将其5%的股份投入新设公益基金