- 谁
- Amazon Web Services
- 引文
Today, we’re announcing usage-based metering for Amazon SageMaker bidirectional (bidi) streaming inference, so model providers can report actual usage for the AWS Marketplace software charge.
发生了什么
AWS 宣布为 Amazon SageMaker AI 双向流式推理提供按使用量计量功能，使模型提供商能够在实时会话期间报告已消耗的用量单位，以便收取 AWS Marketplace 软件费用。该集成通过配套的 WebSocket 传输计量记录，端点基础设施费用则单独计算。Deepgram 是首个合作伙伴，将按使用量收取语音转文本和文本转语音费用。
接下来读什么
查看这件事的完整进展AWS 为 SageMaker AI 双向流式推理新增按使用量计费这件事到目前为止
AWS 为 Amazon SageMaker AI 双向流式推理新增了按使用量计费功能，使模型提供商能够在实时会话期间报告用量，以便收取 AWS Marketplace 软件费用。Deepgram 是首发合作伙伴，为语音转文本和文本转语音服务提供按使用量计费。SageMaker 端点基础设施费用仍单独计算。 提供商通过配套的 WebSocket 元数据流发送计量记录，每个连接每秒最多发送一条消息，每条消息最多 512 字节。如果该流无法连接或在会话期间断开，推理默认会继续进行。