使用 Amazon SageMaker JumpStart 部署和评估模型

发生了什么

Amazon SageMaker JumpStart 提供了一套工作流程，用于部署预训练模型、使用 SageMaker Python SDK 运行可重复的性能测试，并在测试后删除端点。该测试使用示例提示词来衡量延迟、估算的输出长度和单请求生成速率。模型中心发现功能和预配置的端点选项简化了浏览与部署流程，而深度链接集成则让用户只需单击一次，即可从 Hugging Face 模型发现页面部署模型。

这件事到目前为止

AWS 发布了一个 SageMaker JumpStart 工作流，向用户展示如何部署预训练模型、使用 SageMaker Python SDK 测试其性能，并在测试完成后删除端点。该测试使用示例提示词，衡量单次请求的延迟、预计输出长度和生成速率。用户可以通过 Model Hub 查找模型并使用预配置的端点选项；Hugging Face 集成还支持从模型发现页面一键部署。 AWS 表示，当容量可用时，该工作流适用于受支持的模型；部署时间取决于模型、实例类型、配额和 AWS 区域。要在兼容的 JumpStart 模型之间重复使用该测试，可能需要调整负载格式、实例类型、最终用户许可协议要求和响应架构。

继续阅读

正在热议

1. 1Meta 开放发布 Muse Spark Open，支持 Mac 和云端部署，位居美国开放权重模型榜首
2. 2Google 在全球推出 Gemini 4 Argon，并扩大付费访问范围，基准测试结果不一
3. 3OpenAI 为 ChatGPT 中的 GPT-6 Astra Pro 带来并行智能体和更快响应
4. 4Meta的新商业条款引发有关网站抓取和 AI 训练权利的争议