コンテンツにスキップ
メインサイト ニュース コンソール

連続バッチ処理における非同期性の解放

· Hugging Face 翻訳済
教程模型卡

連続バッチ処理における非同期能力を解き放つ

公開日:2026年5月14日

RL:CPU と GPU のワークロードを分離することで、推論において大幅な性能向上を実現する方法を説明します。

これは、高効率な LLM 推論シリーズの第2回です。第1回では、第一原理に立ち返って continuous batching を解説しました。そこでは、後続で使うことになるいくつかの概念、たとえば KV キャッシュ、FlashAttention、Attention mask などを導入しました。

Inference Endpoints では、H200 1台の料金はおよそ1時間あたり5ドルです。時間単位ではそれほど高く見えませんが、1日中使えば120ドルになります。このような状況では、GPU をできるだけ高い稼働率で使いたいところです。

これまで見てきたように、continuous batching は、ぴったり詰めたバッチをスケジューリングすることで padding による無駄を減らし、GPU の利用率を高めます。しかし、continuous batching でも別の種類の無駄は解消できません。デフォルトでは同期的に動くためです。つまり、CPU と GPU が交互に作業します。GPU が計算している間は CPU が待機し、CPU が次のバッチを準備している間は GPU が待機します。1秒あたり数百ステップも回るループでは、こうしたアイドル時間が積み重なり、後で示すように、全体の実行時間の4分の1近くを占めることもあります。GPU を100%の時間、計算に使い続けるには、こうした隙間をなくす必要があります。

そのために使えるのが 非同期バッチ処理 です。CPU によるバッチ準備と GPU によるバッチ計算を切り離し、両者を並行して動かすことで、GPU を常に効率よく稼働させます 🔥

同期バッチ処理

まず、素朴な同期バッチ処理がどのように動くかを見てみましょう。

Image 12: 同期批処理

CPU が新しいバッチを準備するときは、どのリクエストを含めるかを選び、KV キャッシュ表を更新し、前回のラウンドですでに完了したリクエストを追い出し、空いた領域を埋めるために新しいリクエストを受け入れます。これらが終わると、準備した入力を GPU に転送します。GPU は forward pass を実行し、各リクエストに対して新しい token を sampling(つまり選択)します。その結果が CPU に返され、CPU は各リクエストが直前にどの token を生成したかを把握できます。そして、この一連の流れが再び繰り返されます。

右側の赤い注記に注目してください。GPU は計算を終えると、すぐにアイドル状態に入ってしまいます。次のバッチは、CPU が更新処理を終えるまで開始できません。つまり、output token の sampling、リクエスト状態の更新、バッチの再スケジューリングが必要です。

これが同期バッチ処理の根本的な非効率さです。CPU と GPU が交互にしか働けないのです。GPU が計算している間は CPU が空き、CPU が更新している間は GPU が空きます。どちらも同時に有用な作業をすることはできません。単発の forward pass だけ見れば小さなコストに見えるかもしれませんが、1秒あたり数百ステップで回る continuous batching のループでは、こうしたアイドル時間が積み重なって、実際のスループット低下につながります。

これを示すために、8B モデル、batch size 32、8K token 生成時に CPU と GPU に費やされた時間を分析しました。

#教程#模型卡#4Allapi.com

4All API チームによる投稿

原文リンク:https://huggingface.co/blog/continuous_async

主流 AI モデル API をお探しですか?4All API は OpenAI / Anthropic / Google Gemini / Qwen / DeepSeek など数十種類のモデルを単一の API キーで呼び出せます。公式準拠の価格、エンタープライズ品質の通信路、5 分で接続完了。

4All API コンソールに登録 →