使用 Ray LLM 深度学习容器运行多节点推理工作负载

发生了什么

AWS 展示了如何使用 Ray LLM 深度学习容器，在 Amazon EKS 上跨两个 GPU 节点部署 Qwen3.5-9B，并在一个兼容 OpenAI 的端点后配置独立的预填充和解码部署。该演示使用 YAML 配置应用，并通过 EFA 上的 NIXL 在节点间传输 KV 缓存。内容涵盖集群配置、模型调用、传输验证和资源清理。

这件事到目前为止

AWS 发布了一份操作指南，介绍如何使用 Ray LLM 深度学习容器在 Amazon EKS 的两个 GPU 节点上部署 Qwen3.5-9B，并通过独立的预填充和解码部署，经由单一的 OpenAI 兼容端点处理请求。 该示例使用 YAML 配置应用，并通过弹性网卡适配器（EFA）上的 NVIDIA 推理传输库（NIXL）在节点间传输模型的 KV 缓存。AWS 介绍了如何配置集群、调用模型、验证节点间的传输，以及清理资源。

继续阅读

正在热议

1. 1Meta 开放发布 Muse Spark Open，支持 Mac 和云端部署，位居美国开放权重模型榜首
2. 2Google 在全球推出 Gemini 4 Argon，并扩大付费访问范围，基准测试结果不一
3. 3OpenAI 为 ChatGPT 中的 GPT-6 Astra Pro 带来并行智能体和更快响应
4. 4Meta的新商业条款引发有关网站抓取和 AI 训练权利的争议