跳到正文
K = 0.731
原文
产品Latent Space转述·· 2 小时前精选

DeepSeek 开源 DeepInfer，并披露以缓存为主的生产推理经济性

[AINews] DeepSeek DeepInfer: Open Source SOTA Inference running 155T toks/day/cluster making $22m/day at ~80% margin for a 81 day payback

发生了什么

DeepSeek 发布了支撑 V4.1 Flash 的推理引擎 DeepInfer，并报告称，单个集群每天处理 155 万亿个 token，输入缓存命中率为 96%；按非高峰时段价格计算，每个加速器小时可带来 38 美元收入。重要的 KV 缓存管理和负载均衡组件仍未发布。Latent Space 根据这些披露给出了利润率和回本时间估算，并解释了相关成本假设；vLLM 则另行报告称，在匹配的 GB200 配置下，其解码吞吐量与 DeepInfer 公布的结果相差不超过 6%。

推荐理由

区分缓存 token 吞吐量与新计算的 token，对于理解 DeepInfer 报告的规模以及文章中的推理利润率估算至关重要。

DeepSeek开源生态部署工程#开源/仓库#部署/工程#开源生态#DeepSeek

继续阅读

最新日报 · 第 28 期Mistral AI 发布 Voxtral 3 语音模型和语音智能体 SDK

正在热议

  1. 1Mistral 发布 Voxtral 3 语音模型、语音智能体 API 和基于 LiveKit 的 SDK
  2. 2DeepSeek 开源 DeepInfer 和 API 组件，但模型与硬件支持有限
  3. 3OpenAI收购Orchestra Bio，拓展用于药物研发的AI工具
  4. 4NVIDIA AI宣布开放入场并推广直播预告

明早 08:00 把这样一份日报发到你邮箱

和上面这份一样：几件值得看的事。免费，点确认信之后才会开始发送，每封信都能一键退订。 看一份往期日报 · 2026-10-21