vLLM 报告首个 TPUv7 提交至 AgentX，并由 vLLM 提供服务

发生了什么

我们很高兴看到首个 TPUv7 提交至 AgentX，并由 vLLM 提供服务。 感谢 @Google TPU、@RedHat_AI 和 @inferact 的团队成员付出的努力，让它成功运行。我们期待通过 AgentX 在 TPU 上部署更多模型。

这件事到目前为止

据 vLLM 称，Google 首次向 AgentX 提交了 TPUv7 基准测试，并使用 vLLM 提供工作负载服务。据报告，此次提交在外部、非 Google 工作负载成本口径下，每美元性能达到 GB300 NVL72 FP4 的 1.42 倍；这一数字是随提交附带的一项说法。 vLLM 将这套配置的成功运行归功于 Google TPU、Red Hat AI 和 inferact 的贡献者。

继续阅读

正在热议

1. 1Meta 开放发布 Muse Spark Open，支持 Mac 和云端部署，位居美国开放权重模型榜首
2. 2Google 在全球推出 Gemini 4 Argon，并扩大付费访问范围，基准测试结果不一
3. 3OpenAI 为 ChatGPT 中的 GPT-6 Astra Pro 带来并行智能体和更快响应
4. 4Meta的新商业条款引发有关网站抓取和 AI 训练权利的争议