vLLM 与 Physis-AI 推出面向自回归去噪服务的 PhysisServe

发生了什么

vLLM 与 Physis-AI 推出 PhysisServe，结合细粒度阶段流水线、时间共享和多流联合调度，以优化单流输出延迟和多流系统效率；其核心技术即将加入 vLLM-Omni。Physis-AI 报告称，MiniMax H3 33B 在 200 个 GPU 上每 4.083 ms 生成一个块；该测量仅涵盖 DiT 去噪，不包括 VAE 解码和端到端响应延迟。 https://physis-ai.com/blog/physisserve/en https://github.com/Physis-AI/PhysisServe

这件事到目前为止

Physis-AI 与 vLLM 推出了用于自回归去噪的推理系统 PhysisServe，其核心技术计划集成到 vLLM-Omni 中。该系统结合了细粒度阶段流水线、时间共享以及跨多个流的联合调度，旨在降低单流输出延迟并提高多流系统效率。 Physis-AI 报告称，使用 PhysisServe 时，MiniMax H3 33B 在 200 个 GPU 上每 4.083 ms 生成一个块。该测量仅涵盖 DiT 去噪；不包括 VAE 解码，也不代表端到端响应延迟。

继续阅读