跳到正文

AWS 在 SageMaker HyperPod 中新增了工作负载恢复和基础设施检查功能

AWS Machine Learning Blog当事人· Roy Allela·· 19 小时前精选Introducing workload recovery and expanded infrastructure checks on Amazon SageMaker HyperPod
打开原文
原文
图片来自 AWS Machine Learning Blog

发生了什么

AWS 推出了三项用于捕捉训练故障的 SageMaker HyperPod 功能:MultiNodeTrainingValidation 可检查 GPU 是否正在正确进行训练,Kubernetes 监控代理可报告基础设施问题和受影响的作业,而挂起作业检测可识别停滞的 Slurm 作业。挂起作业检测功能可以取消作业,以便 Slurm 重新排队。训练检查功能适用于受支持的 EKS 集群,监控代理涵盖 EKS,而挂起作业检测则适用于 Slurm。

推荐理由

Slurm 团队可以在检测到后将停滞的作业放回队列,而 EKS 用户可以追溯导致训练故障的受影响 Pod 和节点;训练检查功能还可以捕捉在通过设备诊断的硬件上出现的无效损失。

接下来读什么

今日还有哪些重要变化Google DeepMind 推出 Gemini 4 Neon,助力编程、分析与科研
这条收录于 11月19日 AI 日报看这一期日报的全部内容