昨春にリリースされた Granite Switch プロジェクトは、モジュール型モデル開発のアプローチを切り拓きました。そして今回登場した Granite Switch 4.1 モデルは、ディシジョンアダプター(Decision adapter)に加え、OpenASR リーダーボードで最速を誇る ASR モデルを搭載しており、自然言語での応答、汎用・特化型の意思決定、音声テキスト変換(ASR)タスク間を効率的に切り替えることが可能です。これらすべてが、単一のホスト型エンドポイント(hosted endpoint)だけで実現できます。
具体的には、Granite-Switch-4.1-8B および -30B モデルの構成には以下が含まれます。
-
汎用的な意思決定向けの新しい Decision aLoRA(例: v1/systemone)
-
セキュリティ関連の意思決定タスクにおいて、Jev 1.13、Microsoft-Decision-1、GPT-Luna-Decisions、Clef-Flash の平均パフォーマンスを上回る特化型の Guardian aLoRA
-
文字起こしタスク向けに組み込まれた、OpenASR リーダーボードで最速を誇る ASR モデルである Granite-Speech-5.0-Turbo-CTC
これら3つの技術は(基盤となるベースモデルとともに)1つのモデルに統合されており、GPU 上で消費する VRAM はベースモデル単体で動作させる場合とほぼ同等です。つまり、より少ない GPU でより多くの機能を実現できます。
さらに、Switch アダプターはキャッシュ効率の高い Activated LoRA(aLoRA) として構築されているため、ベースモデルの生成時に作成された KV キャッシュ(KV cache)を、その後のアダプターベースの意思決定にそのまま再利用できます。私たちのチームによる最近の vLLM への貢献(低ランクアダプター推論の高速化)と、同じ場所に配置(コロケーション)された ASR エンコーダーの組み合わせにより、Granite Switch 4.1 モデルは対話リクエスト、意思決定リクエスト、音声リクエストの間を驚くほどのスピードで自在に「切り替える(switch する)」ことができます。
granite-switch-4.1-8b が単一のエンドポイント上で音声の文字起こし、要約の生成、有害コンテンツのスクリーニング、さらに15種類のユーザー定義フラグのテストをリアルタイムで実行する様子を、こちらの Speech-to-Decisions HF Space でぜひお試しください。
Granite Libraries: 初代ディシジョンモデル
ディシジョンモデル(意思決定モデル)自体は新しいものではありません。私たちが以前リリースした Granite Libraries には、カスタマイズされた Granite Switch モデルへと統合可能な、一連の特化型「ディシジョンモデル」アダプターやタスク特化型アダプターが含まれています。Jev やその他のクローズドソースのディシジョンモデルは汎用性を重視していますが、私たちは多くの特化型 granitelib アダプターが、特定の分類タスクにおいて汎用モデルを凌駕するケースが多いことを確認しています。
特化型の分類タスクにおける granitelib アダプターと汎用ディシジョンモデルの評価比較は、こちらでご確認いただけます。
アダプターはベースモデルの KV キャッシュを共有するため、汎用ディシジョンアダプターに特化型アダプターを追加しても、オーバーヘッドはほとんど発生しません。汎用モデルによる幅広いカバレッジを享受しながら、重視するタスクにおいては特化型モデルによって高い精度を得ることができます。
Granite-Switch-4.1-30B(フリーズした Granite ベース + 4つの特化型 aLoRA)と Jev-27B(フリーズした Qwen ベースモデル + 1つの汎用ディシジョン LoRA)による「スピード対決」では、Granite-Switch-4.1-30B が実世界の5ステップ RAG ワークフローを競合よりもはるかに高速に完了させました。
独自の Granite Switch モデルの構築と拡張
Granite-Switch-4.1-8B および -30B は、「バッテリー同梱(batteries included)」ですぐに使えるパッケージです。実用的なアダプター群をあらかじめ組み込んで事前コンパイルした Granite Switch モデルとなっています。もちろん、提供されている構成に縛られる必要はありません。誰もが 独自の Granite Switch モデルを構築 し、Granite Libraries からアダプターを自由に組み合わせて、自らのニーズに最適化させることが可能です。
今後について、私たちはコミュニティがカスタムやサードパーティのアダプターを通じて Granite Switch モデルを構築・拡張していく大きな可能性に期待しています。Mellea でアダプターをトレーニングするための Adapter SDK をリリース予定であり、関連チュートリアルや Granite Switch のサポートも提供していきます。これらのアダプターは、意思決定ベースのワークフローを強化する特化型の分類アダプターであっても、特定の言語タスク向けアダプターであっても構いません。カスタムアダプターを使って、3B パラメータ版の Granite に往年の名作ゲーム『DOOM』のプレイ方法を教え込むことさえ可能です。
Jev と同様に、私たちがカスタマイズした 3B パラメータの Granite Switch モデルは瞬時に判断を下して『DOOM』をプレイできますが、その処理速度は 毎秒 60〜100 回の意思決定 に達します(報道によると Jev は毎秒 10 回)。1 さらに Jev とは異なり、この Granite Switch モデルはゲームをプレイしながら実況解説を行ったり、ユーザーからの質問に答えたりすることも可能です。
今後数週間のうちに、Granite Switch に関する詳細やベンチマークデータをさらに公開していく予定です。それまでの間、ぜひ最新の Switch モデルや、以下のスタートアップ向けリソースをお試しください。
スタートガイド・関連リソース
-
Colab で独自の aLoRA vs LoRA スピード比較を実行
脚注
1 https://typesafe.ai/blog/introducing-system-one-models-and-jev
