停止猜测 Amazon SageMaker AI 上 TTS 的自动扩缩目标
- 谁
- AWS
- 引文
In this post, we deploy Kokoro-82M , an 82-million-parameter TTS model, as a custom container on an Amazon SageMaker AI real-time endpoint.
发生了什么
AWS 工程师 Joseph Cottingham 演示了如何根据实测并发限制和扩容时间，为 Kokoro-82M 推导 Amazon SageMaker AI 自动扩缩设置。该演练测得 Q_max=50，并以 p95 首个音频字节时间 3,000 ms 的 SLO 为目标；扩容规划时间为 320.2 秒，其中包括有上限的策略检测延迟。相关工具可推导阈值和冷却时间、检查部署一致性，并指出突发容量余量有限，以及最小实例数为 1 时缩容存在不稳定性。
推荐理由
测量并发限制和扩容时间，提供了一种可迁移的方法来推导对延迟敏感的端点的扩缩阈值和冷却时间，同时揭示了备用容量与服务可靠性之间的权衡。
接下来读什么
查看这件事的完整进展AWS演示基于测量的 SageMaker AI Kokoro-82M 文本转语音自动扩缩容这件事到目前为止
AWS 工程师 Joseph Cottingham 演示了如何根据测得的并发限制和扩容时间，为 Amazon SageMaker AI 上的 Kokoro-82M 文本转语音端点推导自动扩缩容设置；相关工具可计算阈值和冷却时间，并标示容量与稳定性风险。 演示将这个拥有 8200 万参数的模型部署在自定义容器中，并运行于实时端点。测得的并发限制为 Q_max=50，服务级目标是 p95 首个音频字节耗时 3,000 ms；扩容规划采用 320.2 秒，其中包括有界的策略检测延迟。这些测量结果用于制定扩缩容设置，并非其他部署的通用目标。 该工具还会检查部署配置是否一致，并在最小实例数设为 1 时标示突发容量余量有限和缩容不稳定的风险。运行扩容测量需要 ml.g5.xlarge 服务配额，并且在基准容量之上至少有一个空余实例名额。
每天一封，跟上 AI 的重要变化
模型发布、价格变化、算力进展，附原始来源。免费，确认后开始发送，随时一键退订。 看一份往期日报 · 2026-10-22