在 Amazon SageMaker AI 上使用 llama.cpp 部署决策模型

发生了什么

AWS 介绍了如何在 Amazon SageMaker AI 上使用其 llama.cpp 深度学习容器部署 GGUF 模型，然后添加 SemIf 适配器，以便针对已声明的选项返回概率，而不生成答案词元。该指南包含 CPU 和 GPU 部署代码。在使用 Qwen3.5-4B Q4_K_M 完成的 231 项 JevBench 任务中，与 CPU 配置相比，GPU 配置的 p50 延迟快 4.9 倍，p95 延迟快 32.2 倍，且准确率相近。

这件事到目前为止

AWS 发布了一份指南，介绍如何在 Amazon SageMaker AI 上使用 llama.cpp 深度学习容器部署 GGUF 模型，并接入 SemIf（前身为 OpenJev），以便在不生成答案词元的情况下返回所声明选项的概率。指南提供了 CPU 和 GPU 部署代码：先通过 SageMaker AI InvokeEndpoint 提供兼容 OpenAI 的聊天补全服务，再扩展运行时以执行决策任务。 文本生成示例使用固定的 CPU 实例。对于对延迟不敏感的工作负载，SemIf 扩展也默认使用 CPU；GPU 部署则可选用 CUDA 镜像和有序实例池。AWS 报告称，在使用 Qwen3.5-4B Q4_K_M 完成的 231 项 JevBench 任务中，经过测试的 GPU 配置的 p50 延迟比经过测试的 CPU 配置快 4.9 倍，p95 延迟快 32.2 倍，且准确率相近。

继续阅读

正在热议

1. 1Meta 开放发布 Muse Spark Open，支持 Mac 和云端部署，位居美国开放权重模型榜首
2. 2Google 在全球推出 Gemini 4 Argon，并扩大付费访问范围，基准测试结果不一
3. 3OpenAI 为 ChatGPT 中的 GPT-6 Astra Pro 带来并行智能体和更快响应
4. 4Meta的新商业条款引发有关网站抓取和 AI 训练权利的争议