vLLM-TorchTPU 为 TPU 带来原生 PyTorch 服务

发生了什么

vLLM 宣布通过 vLLM-TorchTPU 在 TPU 上提供原生 PyTorch 服务。该项目由 Google 和 inferact 共同打造，支持前缀缓存、推测解码和解耦式服务。 在被引用的帖子中，Google Cloud 宣布 TorchTPU 正式开源，并支持使用熟悉的工具进行训练和服务。

继续阅读

正在热议

1. 1Mistral 与 NVIDIA 宣布开展工业工程 AI 合作并推出开放基准
2. 2OpenAI 模型和 Codex 工作流将登陆 Google Cloud，关于开放时间的报道说法不一
3. 3Mistral 发布 Voxtral 3 语音模型、语音智能体 API 和基于 LiveKit 的 SDK
4. 4OpenAI称其模型帮助研究人员发现严重漏洞后，PHP发布安全更新