商汤详解异构推理基础设施，并报告吞吐量提升

商汤介绍了其在 AI 推理中采用的预填充与解码分离及异构调度方案。基础设施 CTO 单明轩表示，在一项特定测试配置中，使用与基线相同数量的旗舰级 GPU，整体 token 吞吐量达到五倍。商汤称，其基础设施日均处理 6 万亿个 token；五倍提升仅适用于所报告的测试配置。 据量子位转载的发言，单明轩还介绍了通过重新分配资源来恢复故障，并讨论了对跨区域预填充与解码分离以及注意力与 FFN 分离的探索。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。