TorchNeuron は、AWS Trainium 上の PyTorch にまったく新しいネイティブバックエンドをもたらします。Transformers、Diffusers、Kernels がすでにネイティブサポートに対応しており、Trainium 上でのモデル実行や Hugging Face Hub への共有がこれまでになく簡単になりました。
TorchNeuron
TorchNeuron は、Trainium 向けの新しいバックエンドを提供する PyTorch プラグインです。Eager モード、torch.compile、そして FSDP(Fully Sharded Data Parallel)や TP(Tensor Parallelism)といったネイティブの分散処理 API をサポートしています。TorchNeuron の詳細については、PyTorch の公式ブログをご覧ください。
2026年10月20日より、TorchNeuron のパブリックベータ(Public Beta)が開始されます。研究者や開発者は pip install torch-neuronx でインストール可能です。
Hugging Face ライブラリにおける新しいバックエンドとネイティブインターフェース
これまで、大規模でコスト効率の高いトレーニングおよび推論向けにそれぞれ設計された AI チップである AWS Trainium と Inferentia における Hugging Face の利用環境は、主に optimum-neuron を通じて提供されていました。このライブラリは、PyTorch/XLA をベースに構築された torch-neuronx パッケージに依存していました。当時の選択としては自然なものでしたが、開発者はコンパイラを前提とした考え方に縛られることになりました。すなわち、Eager 実行ではなく Lazy Tensor を使用し、静的シェイプ(static shapes)のみをサポートし、グラフブレーク(graph break)が発生するたびに再コンパイルが必要になるという点です。Optimum Neuron はこうした複雑さを隠蔽するために存在し、そのためにカスタムコード(モデルクラスや Trainer など)を独自に保守していました。
TorchNeuron はこの状況を一変させます。PyTorch に直接統合され、neuron をネイティブデバイスとして公開することで、Eager 実行、PyTorch ネイティブの分散プリミティブ(DTensor、FSDP2)、そして torch.compile をサポートします。
Hugging Face の各種ライブラリから見れば、Trainium は他の一般的なハードウェアと何ら変わらないデバイスとなります。Transformers、Diffusers、Accelerate、PEFT、TRL がそのまま動作し、他のハードウェアアクセラレータで使い慣れたクラスやスクリプトをそのまま利用できます。今後、Neuron ユーザーには Optimum Neuron を介さず、これら公式ライブラリを直接使用することを推奨します。
Transformers
推論
Transformers は現在、多数のテキスト生成モデルをネイティブにサポートしています。TorchNeuron により、最もよく使われる上位 100 のテキスト生成モデルアーキテクチャの 89% がすぐに利用可能(Out of the box)となり、Optimum Neuron v0.4.5 での 46% から大幅に向上しました。コード内で device_map="neuron" パラメータを指定するだけで、モデルが自動的に Neuron デバイスにロードされます。
以下は、テンソル並列(Tensor Parallelism)を用いてテキスト生成を行うサンプルコードです。Neuron インスタンスの計算性能を最大限に引き出すことができます。なお、生成処理には頻繁な再コンパイルを避けるため、Neuron 上で強く推奨されている静的キャッシュ(static cache)を使用しています。
import os
import torchimport torch.distributed as distimport torch_neuronx # noqa: F401from torch.distributed import DeviceMeshfrom transformers import AutoModelForCausalLM, AutoTokenizer, GenerationConfigfrom transformers.distributed import DistributedConfigfrom transformers.generation.configuration_utils import CompileConfig
MODEL_ID = "Qwen/Qwen3.8-27B"MAX_SEQ_LEN = 1024PREFILL_CHUNK_SIZE = 512
dist.init_process_group(backend="neuron")world_size = dist.get_world_size()
model = AutoModelForCausalLM.from_pretrained( MODEL_ID, dtype=torch.bfloat16, distributed_config=DistributedConfig(tp_size=world_size), device_mesh=DeviceMesh("neuron", list(range(world_size)))