Deepgram 如何借助 AWS Trainium 实现大规模语音 AI 优化

发生了什么

Deepgram 与 AWS 将 Nova-3 语音转文本模型移植到 AWS Trainium2。在离线批处理工作负载中，按评估时的实例定价计算，每美元处理的音频比 Deepgram 之前的计算选项多 11–70%。该实现结合了经过优化的 NKI 内核，以及在单个 trn2.3xlarge 实例上运行的八个模型副本。与多进程 Python 基准方案相比，Rust 服务运行时在吞吐量最大化的批量大小下将吞吐量提升了 7.5%。

这件事到目前为止

Deepgram 与 AWS 将 Deepgram 的 Nova-3 语音转文本模型移植到 AWS Trainium2。AWS 报告称，在面向吞吐量的离线批处理工作负载中，优化后的配置每美元处理的音频比 Deepgram 之前的计算选项多 11–70%。此次比较采用了评估时的实例定价。 该实现将优化的 NKI 内核与单个 trn2.3xlarge 实例上的八个模型副本相结合，还使用 Rust 服务运行时将 Deepgram 的模型服务器连接到 Trainium。AWS 表示，在吞吐量达到最大值的批次大小下，Rust 运行时的吞吐量比多进程 Python 基线高 7.5%。

继续阅读