vLLM 镜像通过预编译 Python 字节码将启动时间缩短 14–18%

发生了什么

冷启动，遇上构建时间。📷 在 vLLM 镜像中提供预编译的 Python 字节码，可将启动时间缩短 14–18%（在 H100 上约缩短 18 秒）——构建时只需一个 `uv` 标志，启动时无需重新编译。 现已加入 CUDA nightly 版本；官方发布镜像将从 v0.32.0 开始提供。感谢 @nilsmatteson 的出色工作。📷

这件事到目前为止

vLLM 已将预编译 Python 字节码加入其 CUDA nightly 镜像，并表示这一改动将启动时间缩短了 14–18%，在 H100 上节省约 18 秒。从 v0.32.0 开始，官方发布镜像也将包含此功能。 这项改动使用一个 `uv` 标志，在构建镜像时编译 Python 字节码。vLLM 表示，这消除了启动时的重新编译。

继续阅读

正在热议

1. 1DeepSeek 发布 V4.1-Flash-1017，现已上线 Ollama Cloud 并由美国境内托管
2. 2Anthropic 承诺将 5% 的股份投入新设立的公益基金
3. 3Meta 删除引发网站抓取和 AI 训练担忧的商业条款措辞
4. 4Anthropic称，Claude利用时间戳初始化的生成器重构了五个NIST椭圆曲线种子