vLLM 团队表示,vLLM 现已支持 NVIDIA Vera Rubin。早期结果显示,在 AgentX 上运行 MiniMax M3 时,其吞吐量超过 GB200 的 7.8 倍。团队表示,自 Rubin 发布以来,他们一直与 Inferact、NVIDIA AI、Red Hat AI 以及 vLLM 社区合作,让 vLLM 在 Rubin 上运行。
这一吞吐量数据是 vLLM 团队自己的早期结果,并非经独立确认的基准测试;它仅适用于在 AgentX 上运行的 MiniMax M3。
AI 根据报道生成 · 5 天前更新