商汤科技如何在每天提供 6 万亿个 Token 服务的同时提升推理效率
日均6万亿Token服务背后，商汤大装置如何提升推理效能？
- 谁
- SenseTime 大装置 CTO 宣善明
- 做了什么
- sharedheterogeneous inference infrastructure practices for large-scale Token services
- 时间
- 引文
商汤大装置副总裁、CTO宣善明在主论坛发表题为《Agentic时代AI基础设施实践与趋势》的主题演讲，围绕Agentic时代Token增长趋势、异构推理集群实践及AI基础设施新技术探索等话题，分享了商汤大装置在大规模推理服务领域的技术探索与实践。
发生了什么
商汤科技介绍了其 AI 基础设施如何通过 Prefill-Decode 分离和异构调度，在每天平均提供 6 万亿个 Token 服务的同时提升推理效率。据量子位转载的发言内容，CTO 宣山鸣报告称，在特定测试配置下，使用与基线相同数量的旗舰 GPU，整体 Token 吞吐量达到 5 倍。文章还介绍了通过重新分配资源进行故障恢复，并探讨了跨区域 Prefill-Decode 分离和 Attention-FFN 分离。
这件事到目前为止
商汤介绍了其在 AI 推理中采用的预填充与解码分离及异构调度方案。基础设施 CTO 单明轩表示，在一项特定测试配置中，使用与基线相同数量的旗舰级 GPU，整体 token 吞吐量达到五倍。商汤称，其基础设施日均处理 6 万亿个 token；五倍提升仅适用于所报告的测试配置。 据量子位转载的发言，单明轩还介绍了通过重新分配资源来恢复故障，并讨论了对跨区域预填充与解码分离以及注意力与 FFN 分离的探索。
继续阅读
最新日报 · 第 26 期VAST 开源 EdenLive 世界模型，720P 下生成速度超过 24FPS明早 08:00 把这样一份日报发到你邮箱
和上面这份一样：几件值得看的事。免费，点确认信之后才会开始发送，每封信都能一键退订。 看一份往期日报 · 2026-10-19