使用 Amazon SageMaker AI 上的 Kokoro TTS 流式传输 AI 代理的低延迟语音

发生了什么

AWS 展示了如何将 AI 代理生成的完整句子流式传输到 Amazon SageMaker AI 上的 Kokoro-82M，从而在完整回复生成之前开始语音合成。在隔离测试中，首次音频字节的平均耗时从 329.3 ms 降至 156.7 ms；通过已部署的 AgentCore 运行时，首次音频速度提升了 3.5 倍。本指南涵盖持久双向会话、二进制 WebSocket 帧，以及涉及 SSE 和 base64 的音频传输权衡。

接下来读什么

• 今日还有哪些重要变化微软研究院与合作者借助人类指导的 AI 证明 KLS 猜想

这件事到目前为止

AWS 展示了一种方法，可将 AI 智能体的响应逐句流式传输到 Amazon SageMaker AI 上的 Kokoro-82M，并报告称语音合成启动更早，首次音频等待时间也有所缩短。该方法无需等待智能体生成完整响应，而是在每个句子完成后立即将其发送到托管的文本转语音模型。 AWS 表示，在独立测试中，首次音频字节的平均耗时从 329.3 ms 降至 156.7 ms；而通过已部署的 AgentCore 运行时进行的测试，首次音频生成速度提高了 3.5 倍。该指南介绍了持久双向会话、二进制 WebSocket 帧，以及涉及 SSE 和 base64 的音频传输权衡。示例容器固定使用一个较旧的 PyTorch 版本，该版本存在已知安全公告 PYSEC-2026-2286 指出的问题，此问题已在 torch 2.10.0 中修复。