跳到正文

Physis-AI 与 vLLM 推出用于自回归去噪的 PhysisServe

1篇报道 1个报道来源 4 小时前更新

先了解这件事

AI 综述

Physis-AI 与 vLLM 推出了用于自回归去噪的推理系统 PhysisServe,其核心技术计划集成到 vLLM-Omni 中。该系统结合了细粒度阶段流水线、时间共享以及跨多个流的联合调度,旨在降低单流输出延迟并提高多流系统效率。 Physis-AI 报告称,使用 PhysisServe 时,MiniMax H3 33B 在 200 个 GPU 上每 4.083 ms 生成一个块。该测量仅涵盖 DiT 去噪;不包括 VAE 解码,也不代表端到端响应延迟。

AI 根据报道生成 · 3 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月20日
  1. vLLM 与 Physis-AI 推出面向自回归去噪服务的 PhysisServe

    vLLM 与 Physis-AI 推出 PhysisServe,结合细粒度阶段流水线、时间共享和多流联合调度,以优化单流输出延迟和多流系统效率;其核心技术即将加入 vLLM-Omni。Physis-AI 报告称,MiniMax H3 33B 在 200 个 GPU 上每 4.083 ms 生成一个块;该测量仅涵盖 DiT 去噪,不包括 VAE 解码和端到端响应延迟。 https://physis-ai.com/blog/physisserve/en https://github.com/Physis-AI/PhysisServe

明早 08:00 把这样一份日报发到你邮箱

和上面这份一样:几件值得看的事。免费,点确认信之后才会开始发送,每封信都能一键退订。 看一份往期日报

本事件热度走势

可比范围当前
9
可比范围峰值
1010月20日 14:00
近 24 小时变化
–

趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。

继续阅读

最新日报 · 第 27 期TorchNeuron 为 AWS Trainium 上的 Hugging Face 模型带来原生 PyTorch 支持