发布于 2026 年 10 月 20 日
如果你在 Mac 上运行模型,或者将 MPS 作为计算的主要加速工具,那么 PyTorch 2.15 中有诸多亮点值得期待!FP8 正式登陆 MPS,语言模型解码通过线性层和 Softmax 获得了更快的执行路径,并且全新的 Metal 内核(kernel)解决了音频、视频以及训练工作负载中一些开销惊人昂贵的部分。 简单介绍一下我们:我们是 Hugging Face 的 PyTorch 团队。我们为 PyTorch 的各个方面贡献代码,其中一个重点领域是 MPS 后端,目标是让 Mac 成为运行和训练 PyTorch 模型的一流平台。在 2026 年初,即使在 MPS 上运行小模型,通常也意味着要设法规避不受支持的算子、性能骤降(performance cliffs)以及意料之外的内存暴涨。因此,我们在语言、图像和视频等领域运行来自 Hugging Face Hub 的真实模型,找出 MPS 的不足之处,并在 PyTorch 上游进行修复——越来越多地通过用专用的 Metal 内核替换 MPSGraph 来实现。本文的大部分内容正是这项工作的成果,由我们与 PyTorch 维护者以及社区贡献者共同完成。
核心摘要(TL;DR)
- FP8 登陆 Mac: 存储
float8_e4m3fn数值仅需 BF16 一半的空间,并支持缩放矩阵乘法(scaled matrix multiplication)以及 CUDA/CPU 上支持的所有其他算子! - MoE 模型解码速度比 2.14 快 5–6.5 倍: 得益于带有专用解码路径的原生分组矩阵乘法(grouped matmul)、更少的 GPU-CPU 同步以及更快的 Top-k 路由,Qwen3.6-35B-A3B 在 M3 Ultra 上的解码速度从 9.4 tokens/s 提升至 61.3 tokens/s。
- 每个大语言模型(LLM)的单 token 耗时均有所降低: 单行线性层采用了专用的矩阵-向量内核,词表上的 Softmax 速度提升约 8 倍。
- 更多线性代数运算在 GPU 上运行: 支持复数 LU 分解和三角方程求解、更快的小矩阵求逆,以及更快的 QR 分解。
- 音频、视频和训练也获得了关注: 卷积、填充(padding)、Dropout、插值反向传播(interpolation backward)和归约操作(reductions)获得了更快的路径。Wan2.2 的视频 VAE 解码峰值内存占用从 270 GiB 骤降至 8 GiB。
- 来自 Python 的更强控制力: 开放了公共 MPS 流(MPS streams)以及更可靠的事件计时(event timing)。
- 更新的环境要求: MPS 现在需要 macOS 15 或更高版本;PyTorch 2.15 需要 Python 3.11 或更高版本。
- 2.16 版本抢先看: 注意力机制(Attention)完全在 Metal 上运行、更多 MPSGraph 向 Metal 的迁移,以及更快的 LLM 解码。
这对你意味着什么
如果你在 Mac 上使用 transformers、diffusers 或 ComfyUI 等工具运行模型,以下是 2.15 版本在实际使用中带来的变化:
