多くの機械学習エンジニアはモデルを高速に動作させるための勘所を持っていますが、なぜモデルが遅いのかを体系的に分析する方法を知っている人は多くありません。本シリーズの第 1 回では、推論パフォーマンスを体系的に分析し、具体的にどこで時間が消費されているかを突き止める方法を学びます。
この記事は基礎から解説しており、プロファイリングの経験がなくても読み進められます。本チュートリアルは、AWS Trainium(深層学習のトレーニングおよび推論ワークロード向けに設計されたカスタム AI チップ)と、そのオープンソースのネイティブ PyTorch バックエンドである TorchNeuron をベースにしています。TorchNeuron を使用すると、イーガー実行(eager execution)、torch.compile、標準の PyTorch API を含む一般的な PyTorch ワークフローを、最小限のコード変更で Trainium 上で実行できます。さらに、TorchNeuron は Neuron Kernel Interface (NKI) を統合しており、Trainium ハードウェア向けのカスタムカーネル開発やパフォーマンス最適化も可能です。本記事を読み終えると、以下の知識が身につきます:
- Neuron バックエンドを備えた
torch.profilerを構成し、クリーンなトレース(trace)を収集する方法。 key_averages()テーブルを読み解き、どのオペレーションが Neuron デバイスの時間を消費しているかを特定し、それぞれの Self CPU time と比較する方法。- Neuron Explorer で、フレームワークのディスパッチからランタイムのスケジューリング、さらには NeuronCore 上でのハードウェア実行に至るまで、単一オペレーションの完全なライフサイクルを追跡する方法。
- 同一のオペレーションに対する 3 つの異なる実装方法において、これらのプロファイリング指標にどのような違いが現れるか。
PyTorch バックエンドとしての Neuron
ワークロードのパフォーマンスをプロファイリングする前に、Neuron が PyTorch とどのように統合されているかを理解しておくと役に立ちます。
Neuron バックエンドは、PyTorch の PrivateUse1 拡張メカニズムを使用しています。この仕組みにより、ハードウェアアクセラレータは専用のディスパッチキー(cuda など)を追加することなくフレームワークに統合できます。torch_neuronx パッケージはアップストリームの PyTorch と連携し、Neuron を PyTorch コードのネイティブバックエンドとして登録します。この拡張メカニズムの詳細については、Facilitating New Backend Integration by PrivateUse1 を参照してください。
プロファイラーの設定
Neuron のワークロードをプロファイリングする際は、主に 2 つのオブジェクトを使用します:
NeuronConfig:収集対象とする Neuron データストリームや NeuronCore、および出力先を制御します。これをtorch.profiler.profileのexperimental_configとして渡します。NeuronProfiler:NeuronConfigを受け取り、export_traceコールバックを提供します。このコールバックは、フレームワークレベルのトレースファイルtrace.jsonを Neuron システムトレースデータと共に出力します。
nc = NeuronConfig( modes=[ProfileMode.DEVICE, ProfileMode.RUNTIME], profile_output_dir=OUTPUT_DIR, capture_enabled_for_nc='0', correlate_device_time=True,)exporter = NeuronProfiler(nc)modes パラメータは、デバイス命令やランタイムトレースなど、収集するデータストリームを選択するために使用します。capture_enabled_for_nc パラメータは、トレース対象の NeuronCore を指定します。correlate_device_time=True を設定すると、トレース内のデバイス時間が key_averages() テーブルに反映されるため、CPU 時間と Neuron デバイスの消費時間を直感的に比較できるようになります。完全なパラメータの説明や利用可能なすべての ProfileMode 列挙値については、NeuronConfig の Profile modes ドキュメント を参照してください。
ツール:Neuron Explorer
Neuron Explorer は、システムトレースの記録、デバイスのタイムライン、各エンジンの内訳時間を確認するためのブラウザベースの可視化ツールです。SSH トンネルや Visual Studio Code の拡張機能経由でアクセスできます。本記事では、Explorer を使用して key_averages() で報告された各数値の裏付けを取り、詳細を調査していきます……