PyTorch 2.15 候选版本为 Apple 芯片 Mac 上的 MPS 后端新增 FP8 支持和更快的 Metal 内核。Hugging Face 的 PyTorch 团队报告称,在特定工作负载下,LLM 解码速度更快、内存占用更低。该候选版本要求 macOS 15 或更高版本,以及 Python 3.11 或更高版本。
MPS 上新增的 torch.float8_e4m3fn 张量每个值占用 1 字节,存储空间是 FP16 或 BF16 的一半。在团队使用 torch.compile、搭载 M3 Ultra 的设备上进行的基准测试中,Qwen3.6-35B-A3B 的解码速度从 PyTorch 2.14 的 9.4 tokens/s 提升至 2.15 的 61.3 tokens/s。团队还报告称,将常量填充操作移至 Metal 内核后,Wan2.2 分块 VAE 解码的驱动程序内存峰值从约 270 GiB 降至 8 GiB。
AI 根据报道生成 · 2 小时前更新