AWS 发布了一个 SageMaker JumpStart 工作流，向用户展示如何部署预训练模型、使用 SageMaker Python SDK 测试其性能，并在测试完成后删除端点。该测试使用示例提示词，衡量单次请求的延迟、预计输出长度和生成速率。用户可以通过 Model Hub 查找模型并使用预配置的端点选项；Hugging Face 集成还支持从模型发现页面一键部署。
AWS 表示，当容量可用时，该工作流适用于受支持的模型；部署时间取决于模型、实例类型、配额和 AWS 区域。要在兼容的 JumpStart 模型之间重复使用该测试，可能需要调整负载格式、实例类型、最终用户许可协议要求和响应架构。
AI 根据报道生成 · 3 天前更新
