跳到正文

PyTorch 2.15 候选版本新增 FP8 支持,并加快 Mac 上的 MPS 解码速度

1篇报道 1个报道来源 13 小时前更新

先了解这件事

AI 综述

PyTorch 2.15 候选版本为 Apple 芯片 Mac 上的 MPS 后端新增 FP8 支持和更快的 Metal 内核。Hugging Face 的 PyTorch 团队报告称,在特定工作负载下,LLM 解码速度更快、内存占用更低。该候选版本要求 macOS 15 或更高版本,以及 Python 3.11 或更高版本。 MPS 上新增的 torch.float8_e4m3fn 张量每个值占用 1 字节,存储空间是 FP16 或 BF16 的一半。在团队使用 torch.compile、搭载 M3 Ultra 的设备上进行的基准测试中,Qwen3.6-35B-A3B 的解码速度从 PyTorch 2.14 的 9.4 tokens/s 提升至 2.15 的 61.3 tokens/s。团队还报告称,将常量填充操作移至 Metal 内核后,Wan2.2 分块 VAE 解码的驱动程序内存峰值从约 270 GiB 降至 8 GiB。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月20日
  1. PyTorch 2.15 为 Mac 带来 FP8 支持和更快的 MPS 解码

    Hugging Face 的 PyTorch 团队详细介绍了 PyTorch 2.15 候选发布版中的 MPS 改进,包括 FP8 支持以及在 Mac 上更快的 LLM 解码。在配备 M3 Ultra 的设备上使用 torch.compile,与 2.14 相比,Qwen3.6-35B-A3B 的解码速度从 9.4 tokens/s 提升至 61.3 tokens/s。将常量填充移至 Metal 内核,也使 Wan2.2 分块 VAE 解码的峰值驱动程序内存从约 270 GiB 降至 8 GiB。

明早 08:00 把这样一份日报发到你邮箱

和上面这份一样:几件值得看的事。免费,点确认信之后才会开始发送,每封信都能一键退订。 看一份往期日报

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。

继续阅读

最新日报 · 第 27 期TorchNeuron 为 AWS Trainium 上的 Hugging Face 模型带来原生 PyTorch 支持

正在热议

  1. 1DeepSeek 开源推理框架 DeepInfer,vLLM 计划借鉴其思路
  2. 2MiniMax 发布 M3.1 Flash,基准测试得分更高,任务成本低于 M3
  3. 3Anthropic承诺将其5%的股份投入新设公益基金