PyTorch 2.15 为 Mac 带来 FP8 支持和更快的 MPS 解码

发生了什么

Hugging Face 的 PyTorch 团队详细介绍了 PyTorch 2.15 候选发布版中的 MPS 改进，包括 FP8 支持以及在 Mac 上更快的 LLM 解码。在配备 M3 Ultra 的设备上使用 torch.compile，与 2.14 相比，Qwen3.6-35B-A3B 的解码速度从 9.4 tokens/s 提升至 61.3 tokens/s。将常量填充移至 Metal 内核，也使 Wan2.2 分块 VAE 解码的峰值驱动程序内存从约 270 GiB 降至 8 GiB。

这件事到目前为止

PyTorch 2.15 候选版本为 Apple 芯片 Mac 上的 MPS 后端新增 FP8 支持和更快的 Metal 内核。Hugging Face 的 PyTorch 团队报告称，在特定工作负载下，LLM 解码速度更快、内存占用更低。该候选版本要求 macOS 15 或更高版本，以及 Python 3.11 或更高版本。 MPS 上新增的 torch.float8_e4m3fn 张量每个值占用 1 字节，存储空间是 FP16 或 BF16 的一半。在团队使用 torch.compile、搭载 M3 Ultra 的设备上进行的基准测试中，Qwen3.6-35B-A3B 的解码速度从 PyTorch 2.14 的 9.4 tokens/s 提升至 2.15 的 61.3 tokens/s。团队还报告称，将常量填充操作移至 Metal 内核后，Wan2.2 分块 VAE 解码的驱动程序内存峰值从约 270 GiB 降至 8 GiB。

继续阅读

正在热议

1. 1DeepSeek 开源推理框架 DeepInfer，vLLM 计划借鉴其思路
2. 2MiniMax 发布 M3.1 Flash，基准测试得分更高，任务成本低于 M3
3. 3Anthropic承诺将其5%的股份投入新设公益基金