AWS 详解在 EKS 和 SageMaker HyperPod EKS 上部署 NVIDIA Nemotron 模型

1篇报道 1个报道来源 2 小时前更新

先了解这件事

AI 综述

AWS 发布了一份指南，介绍如何使用 NVIDIA Dynamo 和 vLLM 在 Amazon EKS、EKS Auto Mode 和 SageMaker HyperPod EKS 上部署 NVIDIA Nemotron 3.5 Super VL，并提供了部署架构以及在 B200 和 H200 实例上的验证结果。该模型总参数量为 120B，每个 token 激活 12B 参数。指南还介绍了如何运行 aiperf 并发扫描，以比较聚合式和解耦式部署，并根据延迟目标规划容量。

AI 根据报道生成 · 1 小时前更新

最新进展10月30日 00:11

在 Amazon EKS 和 SageMaker HyperPod EKS 上部署 NVIDIA Nemotron 模型 AWS Machine Learning Blog

接下来读什么

今日还有哪些重要变化Google DeepMind 发布 Gemini 4 Carbon，具备网络安全和长时程能力

报道时间线

沿着报道，了解事件的不同侧面。

10月30日

00:11
AWS Machine Learning Blog精选
在 Amazon EKS 和 SageMaker HyperPod EKS 上部署 NVIDIA Nemotron 模型
AWS 介绍如何使用 NVIDIA Dynamo 和 vLLM，在 Amazon EKS、EKS Auto Mode 和 SageMaker HyperPod EKS 上部署 NVIDIA Nemotron 3.5 Super VL。本指南涵盖模型的 120B 总参数量和每个 token 的 12B 激活参数量、部署架构，以及在 B200 和 H200 实例上的验证。指南还展示如何使用 aiperf 并发扫描来比较聚合式和解耦式部署，并根据延迟目标规划容量。

模型发布、价格变化、算力进展，附原始来源。免费，确认后开始发送，随时一键退订。看一份往期日报

本事件热度走势

还没有足够的连续观测数据，暂不绘制趋势。