AWS Adds Managed NVIDIA Dynamo Support to SageMaker HyperPod Inference
中文版本尚未就绪 · 显示原文
先了解这件事
AWS has integrated NVIDIA Dynamo, an open-source distributed inference framework, into Amazon SageMaker HyperPod Inference to enable multi-node and disaggregated serving. Developers can now utilize this managed support through either DynamoGraphDeployment or InferenceEndpointConfig to scale large language model inference across multiple instances. In internal benchmarking using Qwen3-235B-A22B-FP8, AWS reported that disaggregated serving achieved 207 output tokens per second per GPU, significantly outpacing the 101 tokens per second per GPU recorded for aggregated serving under comparable latency and generation-speed targets. Additionally, tests with the Qwen3.5-397B model demonstrated the system's efficiency, retaining 99.1 percent of single-node throughput when distributed across two instances.
AI 根据报道生成 · 2 天前更新
接下来读什么
今日还有哪些重要变化Google DeepMind 推出 Gemini 4 Neon,助力编程、分析与科研报道时间线
沿着报道,了解事件的不同侧面。
- AWS 在 SageMaker HyperPod 推理中增加了对 NVIDIA Dynamo 的支持
Amazon SageMaker HyperPod 推理现已支持 NVIDIA Dynamo,这是一个用于多节点和解耦服务的开源分布式推理框架。AWS 展示了使用 DynamoGraphDeployment 或 InferenceEndpointConfig 的部署路径,并对 Qwen3-235B-A22B-FP8 进行了基准测试,结果显示在既定的延迟和生成速度目标下,解耦服务的每 GPU 输出速度达到每秒 207 个 token,而聚合服务为 101 个。另一项 Qwen3.5-397B 测试在两个实例上保留了单节点 99.1% 的吞吐量。
每天一封,跟上 AI 的重要变化
模型发布、价格变化、算力进展,附原始来源。免费,确认后开始发送,随时一键退订。 看一份往期日报
本事件热度走势
- 可比范围当前
- 3
- 可比范围峰值
- 1011月18日 09:00
- 近 24 小时变化
- -51%
趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。