コンテンツにスキップ
メインサイト ニュース コンソール

TorchNeuron:AWS Trainium での HF モデル実行がかつてないほど簡単に

· Hugging Face 翻訳済
教程模型卡

TorchNeuron は、AWS Trainium 上の PyTorch にまったく新しいネイティブバックエンドをもたらします。Transformers、Diffusers、Kernels がすでにネイティブサポートに対応しており、Trainium 上でのモデル実行や Hugging Face Hub への共有がこれまでになく簡単になりました。

TorchNeuron

TorchNeuron は、Trainium 向けの新しいバックエンドを提供する PyTorch プラグインです。Eager モード、torch.compile、そして FSDP(Fully Sharded Data Parallel)や TP(Tensor Parallelism)といったネイティブの分散処理 API をサポートしています。TorchNeuron の詳細については、PyTorch の公式ブログをご覧ください。

2026年10月20日より、TorchNeuron のパブリックベータ(Public Beta)が開始されます。研究者や開発者は pip install torch-neuronx でインストール可能です。

Hugging Face ライブラリにおける新しいバックエンドとネイティブインターフェース

これまで、大規模でコスト効率の高いトレーニングおよび推論向けにそれぞれ設計された AI チップである AWS Trainium と Inferentia における Hugging Face の利用環境は、主に optimum-neuron を通じて提供されていました。このライブラリは、PyTorch/XLA をベースに構築された torch-neuronx パッケージに依存していました。当時の選択としては自然なものでしたが、開発者はコンパイラを前提とした考え方に縛られることになりました。すなわち、Eager 実行ではなく Lazy Tensor を使用し、静的シェイプ(static shapes)のみをサポートし、グラフブレーク(graph break)が発生するたびに再コンパイルが必要になるという点です。Optimum Neuron はこうした複雑さを隠蔽するために存在し、そのためにカスタムコード(モデルクラスや Trainer など)を独自に保守していました。

TorchNeuron はこの状況を一変させます。PyTorch に直接統合され、neuron をネイティブデバイスとして公開することで、Eager 実行、PyTorch ネイティブの分散プリミティブ(DTensor、FSDP2)、そして torch.compile をサポートします。

Hugging Face の各種ライブラリから見れば、Trainium は他の一般的なハードウェアと何ら変わらないデバイスとなります。Transformers、Diffusers、Accelerate、PEFT、TRL がそのまま動作し、他のハードウェアアクセラレータで使い慣れたクラスやスクリプトをそのまま利用できます。今後、Neuron ユーザーには Optimum Neuron を介さず、これら公式ライブラリを直接使用することを推奨します。

Transformers

推論

Transformers は現在、多数のテキスト生成モデルをネイティブにサポートしています。TorchNeuron により、最もよく使われる上位 100 のテキスト生成モデルアーキテクチャの 89% がすぐに利用可能(Out of the box)となり、Optimum Neuron v0.4.5 での 46% から大幅に向上しました。コード内で device_map="neuron" パラメータを指定するだけで、モデルが自動的に Neuron デバイスにロードされます。

以下は、テンソル並列(Tensor Parallelism)を用いてテキスト生成を行うサンプルコードです。Neuron インスタンスの計算性能を最大限に引き出すことができます。なお、生成処理には頻繁な再コンパイルを避けるため、Neuron 上で強く推奨されている静的キャッシュ(static cache)を使用しています。

import os
import torch
import torch.distributed as dist
import torch_neuronx # noqa: F401
from torch.distributed import DeviceMesh
from transformers import AutoModelForCausalLM, AutoTokenizer, GenerationConfig
from transformers.distributed import DistributedConfig
from transformers.generation.configuration_utils import CompileConfig
MODEL_ID = "Qwen/Qwen3.8-27B"
MAX_SEQ_LEN = 1024
PREFILL_CHUNK_SIZE = 512
dist.init_process_group(backend="neuron")
world_size = dist.get_world_size()
model = AutoModelForCausalLM.from_pretrained(
MODEL_ID,
dtype=torch.bfloat16,
distributed_config=DistributedConfig(tp_size=world_size),
device_mesh=DeviceMesh("neuron", list(range(world_size)))
#教程#模型卡#4Allapi.com

4All API チームによる投稿

原文リンク:https://huggingface.co/blog/hf-torchneuron

主流 AI モデル API をお探しですか?4All API は OpenAI / Anthropic / Google Gemini / Qwen / DeepSeek など数十種類のモデルを単一の API キーで呼び出せます。公式準拠の価格、エンタープライズ品質の通信路、5 分で接続完了。

4All API コンソールに登録 →