前回の記事では、AWS Trainium 向けのネイティブ PyTorch バックエンドである TorchNeuron(torch-neuronx パッケージ)について紹介しました。これにより、Transformers は他のデバイスと同様に Trainium 上で自身のモデリングコードを直接実行できるようになり、Hub 上のあらゆる Transformers モデルが動作する可能性が生まれました。しかし、実際にどのモデルが動作するのでしょうか?
torch-neuronx model support Space は、Hub 上で最も人気のあるモデルを対象にこの疑問に答えます。特定のモデルが変更なしで Trainium 上で実行できるかどうかを確認でき、自身でモデルを実行するためのスクリプトも提供します。
モデルの検索
この Space はデフォルトで Selected(精選)ビューを開きます。ここには、Hub 上のダウンロード数や人気度ランキングに基づいて厳選された人気モデルが含まれています。各行には、実行結果、モデルのシャーディング(sharded)に使用された Trainium コア数、実行時間(Wall Time、コンパイル時間を含む)、およびデバイスメモリのピーク値が表示されます。
特定のモデルを探すには、Trending(トレンド)または Downloads(ダウンロード数)ビューに切り替え、モデル名の一部を入力します。これらのビューは Hub 本体のランキング(タスク別に分類)に準拠しており、テスト済みかどうかにかかわらずモデルが一覧表示されます。モデルが明示的に除外されている場合、Space はその理由を説明します(大半は優先度が低いためですが、実際に非互換である場合もあります)。また、特定のバージョンの Neuron コンパイラ(neuronx-cc)や Transformers を選択して確認することもできます。
本稿執筆時点では Transformers モデルのみがテストされており、対象は
text-generation(テキスト生成)およびimage-text-to-text(画像・テキストからテキストへの変換)モデルに限られています。今後は diffusers、sentence transformers、その他の transformers タスクにも拡大していく予定です。
自分で実行する
モデルを選択すると、実行方法を確認できます。Space には、モデルのテストに使用された Neuron スタック、追加でインストールが必要な依存パッケージ、および実際に実行する run.py スクリプトが一覧表示されます。このスクリプトは TorchNeuron のリリース告知で紹介されたアプローチに準拠しており、from_pretrained でモデルをロードし、必要に応じてシャーディングを行い、静的キャッシュ(static cache)と torch.compile(backend="neuron") を組み合わせて生成を実行します。
このスタックを備えた Trainium2(trn2)インスタンス(例えば AWS Neuron Deep Learning Container コンテナ内など)で、該当する依存パッケージをインストールした後に以下を実行します:
python3 run.pytorchrun を使用する必要はありません。モデルがシャーディングされる際、スクリプトが自動的に自身の torch.distributed プロセス(ランク)を起動します。
初回実行時にはモデルのコンピュテーション・グラフがコンパイルされます。このステップをスキップしたい場合は、公開されている NEFF cache バケットから、テスト時に同一コンパイラによってビルドされたグラフを直接コピーできます。Space には、対応するコンパイラバージョンを含むコマンドが用意されています:
hf buckets sync hf://buckets/aws-neuron/torch-neuronx-neff-cache/neuronxcc-<version> /tmp/neff_cache「動作する」ことの定義
各テストでは、trn2 インスタンス上でモデルをロードし、その重みを収めるのに十分な最小限の Trainium コア数にシャーディングします。大半のモデルはテンソル並列(tensor parallelism)を用いてシャーディングされます。テンソル並列の構成を持たない Mixture of Experts(MoE)モデルの場合は、エキスパート並列(expert parallelism)のみが適用されます。その後、テストでは 32 トークンを生成して検証を行います。シングルコアで実行する場合、生成されたトークンはそのチェックポイントを CPU で実行した際の出力と比較されます。モデルをシャーディングして実行する場合は、小型の判定モデル(judge model)を用いて、テキストが流暢な英語になっているかを検証します。
本稿執筆時点では、4 台の Trainium2 デバイス(すなわち最大 16 コア)に収まるモデルのみがテストされています。PASS の判定は単に動作することを示すのみであり、スループット性能やより長い生成長でのパフォーマンスを反映するものではありません。
テスト結果はデータセットとして公開
Space に表示されている内容はすべて、公開データセット aws-neuron/torch-neuronx-model-support から取得されており、neuronx-cc とライブラリのバージョンの組み合わせごとに 1 つの Parquet ファイルが対応しています。
各行には、モデルの実行結果、失敗時のエラーメッセージ、スタック全体のバージョン、およびその際に実行された run.py スクリプトが記録されています。次のように直接クエリを実行できます:
import pandas as pd
df = pd.read_parquet("hf://datasets/aws-neuron/torch-neuronx-model-support/data")df[df.model_id == "Qwen/Qwen3-0.6B"][["neuronx_cc", "library", "library_version", "neuron_cores", "result"]]各結果の詳細な意味については、データセットカードに記載されています。
次回、特定のモデルが Trainium 上で動作するか気になった際は、ぜひチェックしてみてください。
