
これまでTPU上でPyTorchを実行しようとしたことがある方なら、コードをtorch_xlaに移植したり、結局JAXを学ぶ羽目になったりした経験があるのではないでしょうか。ネイティブなPyTorchバックエンドであるTorchTPUの登場により、TPUは今や単なる「もう一つの標準デバイス」となりました。これにより、Hugging FaceエコシステムにおけるTPUのネイティブサポートが実現。Transformers、Diffusers、KernelsがTPU上でネイティブに動作するようになりました。Hubからモデルを選び、"tpu"に送信するだけで完了です。
ちょっと待って、そもそもTPUとは?🤔
TPUとは、Tensor Processing Unit(テンソル・プロセッシング・ユニット)の略です。TPUはGoogleが独自開発したAIアクセラレーターチップであり、ニューラルネットワークの処理の大半を占める行列演算を実行するという単一の目的に特化して設計されています。Googleは約10年にわたりこのチップを開発し続けており、Geminiをはじめとする自社モデルのトレーニングや推論サービングに活用しています。
TPUはGoogle Cloud上で利用可能で、単一のチップから数千個のチップで構成されるPodクラスターまで幅広い規模に対応しています。トレーニングや大規模な推論サービングで膨大な計算リソースが必要な場合に真価を発揮します。
しかし、これまで最大のネックとなっていたのはソフトウェアでした。TPUのソフトウェアスタックは元々TensorFlowやJAXを中心に構築されていたため、PyTorchユーザーが利用するには少なからず苦労が伴いました。
これまでのアプローチ
これまでTPU上でPyTorchを実行するには、PyTorch/XLA(torch_xla)を経由する必要がありました。確かに動作はするものの、多くの課題が存在しました。テンソルは遅延評価されるため(遅延しているのはテンソルであって、あなたではありません)、コードが必ずしも意図したタイミングで実行されるとは限りませんでした。また、わずかな変更でも計算グラフの再コンパイル(graph recompilation)がトリガーされ、デバッグ作業は困難を極めました。
そこで私たちは利用を容易にするためOptimum TPUを構築し、Hugging FaceモデルのTPU上での推論とトレーニングをサポートしてきました。そして今、TorchTPUがネイティブサポートをもたらしたことで、TransformersやDiffusersを使ってHugging Faceモデルを実行する際に、Optimum TPUを介する必要はなくなりました。
TorchTPUの登場 🚀
TorchTPUは、PyTorchに全く新しいTPUバックエンドを追加します。これによって、普段通りのPyTorchコードをそのまま書くことができます。TPU向けに最適化されたPallasカーネル(kernels)が同梱され、分散トレーニングにも対応しているほか、さらなる高速化を実現するtorch.compileも統合されています。TPU仮想マシン(TPU VM)上では、コマンド1つでインストールが完了します。
pip install torch-tpu --extra-index-url https://download.pytorch.org/whl/cpuこの追加インデックス(--extra-index-url)を指定することで、CPU版のtorchがインストールされます。これを付けないと、pipがはるかにサイズの大きいCUDA版をダウンロードしてしまいますが、TPU上ではCUDA版は一切不要です。
おなじみのライブラリがTPUに対応
Transformers
Transformers v5は、「モデル定義における唯一の信頼できる情報源(Single Source of Truth)となり、あらゆる場所で動作させる」という思想に基づいて設計されています。この「あらゆる場所」に、TPUも仲間入りしました。TPU上にモデルをロードするには、device_map="tpu"を指定するだけで完了します。
from transformers import AutoModelForCausalLM, AutoTokenizer
model_id = "Qwen/Qwen3.5-9B"model = AutoModelForCausalLM.from_pretrained( model_id, device_map="tpu", # モデルを直接TPUにロード)tokenizer = AutoTokenizer.from_pretrained(model_id)inputs = tokenizer("The future of AI is", return_tensors="pt").to("tpu")out = model.generate(**inputs, max_new_tokens=64)print(tokenizer.decode(out[0], skip_special_tokens=True))モデルはデフォルトでEagerモード(即時実行モード)で動作します。torch.compileを使用してさらなるパフォーマンス向上を図ることも、分散環境で実行することも可能です。