2026年10月20日公開
Mac 上でモデルを実行している方や、MPS を主要なアクセラレータとして利用している方にとって、PyTorch 2.15 には注目のアップデートが目白押しです!FP8 が正式に MPS をサポートし、言語モデルのデコード処理は線形レイヤーと Softmax の高速な実行パスによって高速化され、さらに新しい Metal カーネルにより、音声、動画、トレーニングワークロードにおいて極めて負荷の高かった処理が解消されました。 まず私たちの自己紹介をさせてください。私たちは Hugging Face の PyTorch チームです。私たちは PyTorch の多岐にわたる領域にコードをコントリビュートしていますが、注力している分野の1つが MPS バックエンドです。Mac を PyTorch モデルの実行およびトレーニングにおけるファーストクラスのプラットフォームにすることを目指しています。2026年初頭の時点では、MPS 上で小さなモデルを動かす場合でさえ、未サポートのオペレータ、突然のパフォーマンス低下(performance cliff)、予期せぬメモリの急増などを回避するために工夫を強いられるのが常でした。そこで私たちは、言語、画像、動画などの領域にわたる Hugging Face Hub の実モデルを実行し、MPS の課題を特定した上で PyTorch アップストリームでの修正を進めてきました。その多くは、MPSGraph を専用の Metal カーネルに置き換えるアプローチによるものです。本記事の内容の大部分は、PyTorch メンテナーやコミュニティのコントリビューターと共に取り組んできたこの成果に基づいています。
要約(TL;DR)
- Mac での FP8 サポート:
float8_e4m3fnは BF16 の半分のメモリフットプリントで数値を格納でき、スケーリング付き行列乗算(scaled matrix multiplication)や、CUDA/CPU でサポートされているその他のすべてのオペレータに対応しました! - MoE モデルのデコード速度が 2.14 比で 5〜6.5倍に: 専用のデコードパスを備えたネイティブなグループ化行列乗算(grouped matmul)、GPU-CPU 同期の削減、Top-k ルーティングの高速化により、Qwen3.6-35B-A3B の M3 Ultra でのデコード速度が 9.4 tokens/s から 61.3 tokens/s へと向上しました。
- すべての LLM でトークンあたりの所要時間を短縮: 1行の線形レイヤー向けに専用の行列・ベクトル積カーネルを採用し、ボキャブラリ全体に対する Softmax の速度が約8倍向上しました。
- GPU 上で動作する線形代数演算が拡大: 複素数の LU 分解と三角方程式の求解に対応し、小さな行列の逆行列計算や QR 分解が高速化されました。
- 音声、動画、トレーニング分野の改善: 畳み込み、パディング(padding)、Dropout、補間の逆伝播(interpolation backward)、リダクション処理(reductions)に高速なパスが追加されました。Wan2.2 の動画 VAE デコードにおけるピークメモリ使用量は 270 GiB から 8 GiB へと激減しました。
- Python からのより細やかな制御: パブリックな MPS ストリーム(MPS streams)の公開と、より高精度なイベントタイミング(event timing)の計測が可能になりました。
- 動作要件の更新: MPS は macOS 15 以降、PyTorch 2.15 は Python 3.11 以降 が必須となりました。
- バージョン 2.16 の先行情報: Attention 機構の完全な Metal 化、MPSGraph から Metal へのさらなる移行、そして LLM デコードのさらなる高速化を予定しています。
ユーザーにとっての意味
transformers、diffusers、ComfyUI などのツールを使って Mac 上でモデルを実行している場合、バージョン 2.15 によって実際のユースケースで以下のような変化が得られます:
