在 Amazon EKS 和 SageMaker HyperPod EKS 上部署 NVIDIA Nemotron 模型
Accelerate agentic AI with NVIDIA Nemotron models on Amazon EKS and SageMaker HyperPod EKS
- 谁
- AWS
- 引文
This post explores its architecture and use cases, then shows how to deploy it on Amazon Elastic Kubernetes Service (Amazon EKS) , Amazon EKS Auto Mode , and Amazon SageMaker HyperPod EKS .
发生了什么
AWS 介绍如何使用 NVIDIA Dynamo 和 vLLM，在 Amazon EKS、EKS Auto Mode 和 SageMaker HyperPod EKS 上部署 NVIDIA Nemotron 3.5 Super VL。本指南涵盖模型的 120B 总参数量和每个 token 的 12B 激活参数量、部署架构，以及在 B200 和 H200 实例上的验证。指南还展示如何使用 aiperf 并发扫描来比较聚合式和解耦式部署，并根据延迟目标规划容量。
推荐理由
并发扫描方法将延迟预算与每个副本的吞吐量关联起来，为部署容量规划提供实用方法，并帮助判断是否需要增加预填充或解码容量。
接下来读什么
查看这件事的完整进展AWS 详解在 EKS 和 SageMaker HyperPod EKS 上部署 NVIDIA Nemotron 模型这件事到目前为止
AWS 发布了一份指南，介绍如何使用 NVIDIA Dynamo 和 vLLM 在 Amazon EKS、EKS Auto Mode 和 SageMaker HyperPod EKS 上部署 NVIDIA Nemotron 3.5 Super VL，并提供了部署架构以及在 B200 和 H200 实例上的验证结果。 该模型总参数量为 120B，每个 token 激活 12B 参数。指南还介绍了如何运行 aiperf 并发扫描，以比较聚合式和解耦式部署，并根据延迟目标规划容量。
每天一封，跟上 AI 的重要变化
模型发布、价格变化、算力进展，附原始来源。免费，确认后开始发送，随时一键退订。 看一份往期日报 · 2026-10-29