使用 torchtitan 在 AWS Trainium 上训练 Qwen3
AWS 提供了一份指南,介绍如何在单台 trn2.48xlarge 上使用 Transformers v5、torchtitan 原生的 Qwen3 实现和 NKI 混合专家内核训练 Qwen3。各项配置采用相同的 torchrun 启动模式和配置结构,并提供了加载和保存 Hugging Face 检查点的示例。指南还演示了自定义内核注册和 autograd 集成,并明确指出该示例旨在展示集成方式,而非提升性能。

推荐理由
本指南提供了一种可复用的模式,通过算子注册、autograd 和配置覆盖来集成自定义训练内核,并在训练前通过数值比较检查正确性。











