
发生了什么
AWS 推出了三项用于捕捉训练故障的 SageMaker HyperPod 功能:MultiNodeTrainingValidation 可检查 GPU 是否正在正确进行训练,Kubernetes 监控代理可报告基础设施问题和受影响的作业,而挂起作业检测可识别停滞的 Slurm 作业。挂起作业检测功能可以取消作业,以便 Slurm 重新排队。训练检查功能适用于受支持的 EKS 集群,监控代理涵盖 EKS,而挂起作业检测则适用于 Slurm。
推荐理由
Slurm 团队可以在检测到后将停滞的作业放回队列,而 EKS 用户可以追溯导致训练故障的受影响 Pod 和节点;训练检查功能还可以捕捉在通过设备诊断的硬件上出现的无效损失。
