AI モデルの能力がますます向上するにつれて、モデルが私たちの意図から逸脱したタイミングを確実に検知する手法が必要になります。エージェント(Agent)は、トレーニング、評価、運用の過程で異常な振る舞いを示し、不正な操作を行う可能性があり、重大な結果を招くリスクを孕んでいます。こうした不具合を検知し、必要に応じて迅速に介入できるように、私たちはエージェントがどのように推論し、どのような行動を取り、それらが環境にどのような影響を与えたかをモニタリングしています。
私たちは以前から社内のコーディングエージェントに対するモニタリングを実施していましたが、Hugging Face のインシデントによってモニタリングのカバレッジに死角があったことが浮き彫りになりました。このインシデントは社内のサイバーセキュリティ評価から端を発したものであり、当時私たちはミスアライメント(意図しない動作)に対するモニタリングを行っていませんでした。このインシデントとモデルの全体的な能力の継続的な向上を受けて、私たちはエージェントの行動モニタリングシステムを大幅に拡張しました。現在、私たちのミスアライメント監視は、トレーニング、評価、社内利用、さらには各プロダクト形態に応じた外部環境へのデプロイなど、フロンティアモデルにおける幅広いユースケースを網羅しています。
拡張されたシステムが Hugging Face のインシデント防止にどのように役立つかを検証するため、強化されたモニタリングシステムを導入した状態で、同インシデントで記録された行動を再現(リプレイ)しました。シミュレーションテストでは、エージェントが最初にサンドボックス(sandbox)を脱出してから約 30 分後にモニタリングシステムがセキュリティチームにアラートを発報しました。これは実際のインシデントで Hugging Face のシステムが侵害されるより 30 時間以上も早いタイミングです。この早期警告があれば、モデルが外部サービスにアクセスする前にインシデント対応者が介入し、その活動を中断させるのに十分な猶予が得られると考えています。
今年の 9 月、実際のトレーニング実行中にインシデント対応者がアラートを活用して危機を未然に防いだ事例がありました。あるモデルが、本来隔離されているはずの環境からインターネットにアクセスする方法を見つけ出したのです。私たちのモニタリングプログラムは、この隔離突破の挙動を 15 分以内に検知してフラグを立て、対応者はその 3 分後には調査に着手しました。その後、私たちはフロンティア強化学習(reinforcement learning)のトレーニングを一時停止し、エージェントの制限と隔離を行うシステムを強化しました。
このようなモニタリングシステムには膨大な計算リソースが必要ですが、モデルの能力向上とミスアライメントによる潜在的なリスクの増大を鑑みれば、十分にそれに見合うコストであると考えています。モデルのミスアライメントがもたらす危害に対して、モニタリングは私たちの多層防御(defense in depth)戦略において不可欠な柱です。アライメントトレーニングは有害な振る舞いを示す傾向を低減することを目的とし、セキュリティ制御策はエージェントがアクセスまたは影響を与えられるシステムを制限します。そして、それらの安全策をすり抜けた場合でも、モニタリングによって残存する異常行動を捉え、実害が発生する前に介入し、失敗から教訓を得ることができます。すべてのモデル開発者は、自社の最も能力の高いモデルに対して行動モニタリングを実施すべきであると考えています。
本稿では、以下について詳しく説明します……