使用 torchtitan 在 AWS Trainium 上训练 Qwen3

发生了什么

AWS 提供了一份指南，介绍如何在单台 trn2.48xlarge 上使用 Transformers v5、torchtitan 原生的 Qwen3 实现和 NKI 混合专家内核训练 Qwen3。各项配置采用相同的 torchrun 启动模式和配置结构，并提供了加载和保存 Hugging Face 检查点的示例。指南还演示了自定义内核注册和 autograd 集成，并明确指出该示例旨在展示集成方式，而非提升性能。

这件事到目前为止

AWS 发布了一份演练指南，介绍如何使用 torchtitan 在单个 Trainium trn2.48xlarge 实例上训练 Qwen3，并提供三种训练配置以及加载和保存 Hugging Face 检查点的示例。这些配置分别使用 Transformers v5、torchtitan 原生的 Qwen3 实现和 NKI 混合专家内核，并采用相同的 torchrun 启动模式和配置结构。 该指南要求使用 AWS Deep Learning AMI for Neuron 或 Neuron PyTorch 训练容器。其 Qwen3-30B-A3B 示例将模型缩减为 4 层和 64 个专家，以便在单个 trn2.48xlarge 上运行。AWS 还演示了自定义内核注册和 autograd 集成，并明确说明该示例旨在演示集成，而非提升性能。

继续阅读

正在热议

1. 1Mistral 与 NVIDIA 宣布开展工业工程 AI 合作并推出开放基准
2. 2Anthropic 面向美国 Pro 和 Max 用户开放 Claude Duet 研究预览，采用候补名单制
3. 3OpenAI 模型和 Codex 工作流将登陆 Google Cloud，关于开放时间的报道说法不一
4. 4Mistral 发布 Voxtral 3 语音模型、语音智能体 API 和基于 LiveKit 的 SDK