Amazon SageMaker AI 上的混合专家（MoE）内核工程

发生了什么

AWS 介绍了 Amazon SageMaker AI 中使用的三项融合 MoE 优化，报告吞吐量最高提升 10%，首次生成令牌时间（TTFT）最高缩短 9%。在 H200 上，交换矩阵操作数使吞吐量提升了 2–4%；将 FP8 张量量化模型路由到 Triton，则使吞吐量提升了 10%。消除不必要的 Triton JIT 重新编译，在 8 路张量并行时将 TTFT 缩短了 9%；该帖子指出，这些优化已在 vLLM 和 AWS LMI v28 容器中提供。

继续阅读

正在热议

1. 1Meta 开放发布 Muse Spark Open，支持 Mac 和云端部署，位居美国开放权重模型榜首
2. 2Google 在全球推出 Gemini 4 Argon，并扩大付费访问范围，基准测试结果不一
3. 3OpenAI 为 ChatGPT 中的 GPT-6 Astra Pro 带来并行智能体和更快响应
4. 4Meta的新商业条款引发有关网站抓取和 AI 训练权利的争议