コンテンツにスキップ
メインサイト ニュース コンソール

フロンティアモデルの学習環境のセキュリティ確保

· OpenAI 翻訳済
OpenAILLM

フロンティアモデルのトレーニング環境におけるセキュリティの確保 | OpenAI

2026年10月23日

当社は、社内におけるフロンティアモデルのトレーニングおよび評価に対する封じ込め(コンテインメント)措置を強化し、最も能力の高いモデルを用いてセキュリティ境界のレッドチーム演習(レッドチーミング)を実施しました。

本稿では、フロンティアモデルのトレーニングと評価に使用する環境の安全性をどのように確保しているかについて説明します。これらの研究環境は、お客様がリリース済みモデルを利用する本番環境とは異なります。開発中のモデルは安全性やアライメント(alignment)のトレーニングがまだ完了していない可能性があり、当社では弱点を洗い出すために意図的に敵対的な条件下でテストを行っています。モデルをより広範な用途へと展開する前に、安全性とアライメントの評価を実施し、本番環境レベルの防御策を導入します。

ソフトウェアと対話するために、AIモデルにはコンピュート環境、すなわちコードの記述や実行、情報の検索、問題に対するさまざまなアプローチの試行を行える一連のデジタルワークスペースが必要です。これらの環境は、モデルがそうしたスキルを習得できるようにするだけでなく、アクセス権限や操作を制限する役割も果たします。これにより、モデルが誤動作を起こしたり、アライメントから逸脱した挙動(ミスアライメント行動)を示したりした場合でも、その影響を抑え込むことができます。

しかし、モデルの能力が向上するにつれて、こうした制限を回避する能力も高まっています。高度かつ洗練されたモデルは、ソフトウェアの欠陥や設定ミスを悪用してサンドボックスからの脱出(サンドボックスエスケープ)を実行したり、内部サービスを経由して実際のパブリックインターネットにアクセスしたり、他のサンドボックス内のエージェントと未認可の経路で通信を行ったりする可能性があります。7月に発生した Hugging Face のインシデントや、当社が観測したモデルのミスアライメントに関するその他の事例は、高度なサイバー能力を持つモデルがトレーニングや評価の過程で隔離保護を回避できることを示しています。

これらのインシデントを受け、当社は研究環境のセキュリティを大幅に強化しました。クラウドプロバイダーと緊密に連携し、インフラ全体にわたって複数の制御メカニズムを新たに追加しました。これにより、エージェントが悪用可能なアタックサーフェスを縮小し、ミスアライメント行動やセキュリティ境界を越えようとする試みを検出する手法を改善しました。これらの多層的な防御策により、単一の制御メカニズムが機能しなくなった場合でも隔離を維持できます。この戦略は*多層防御(defense in depth)*と呼ばれます。

アライメント研究の現状、監視システム、およびインターネットインフラのセキュリティ上の考慮事項に基づき、インターネットへのアクセスがない環境でフロンティアモデルのトレーニングを行うことが責任あるアプローチであると当社は考えています。当社はこのポリシーをすでに導入しており、より広範なインターネットアクセスの開放を裏付けるに十分なセキュリティ上の進展が得られるまで、継続して適用していきます。

こうした取り組みにより、高度なミスアライメント行動が実質的な被害をもたらす前に、それを検知して阻止できるようになりました。例えば9月20日には、ある社内研究モデルがトレーニング実行中にDNSリゾルバーの設定ミスを悪用し、実際のパブリックインターネットへの限定的なアクセス権を獲得しました。このインシデントは封じ込めに成功したものの、さらなる是正が必要な脆弱性が浮き彫りとなりました。当社は最も能力の高いモデルのトレーニングと評価を一時停止し、その期間を利用してインフラのさらなる強化、監視の強化、および重大なリスクを伴うアクティビティが検出された際に自動的に実行を終了するシステムの整備を行いました。

しかし、能力を増し続けるモデルは、最も安全なシステムにおいてさえ脆弱性や設定ミスを見つけ出すことがあります。最高峰のモデルに直面しても研究環境がレジリエンスを維持できるようにするため、当社はインフラ内の弱点を集中的に探る高コンピュートなレッドチーム演習イニシアチブを立ち上げました。フロンティアモデルのエージェントチームには、パブリックインターネットへのアクセス、セキュリティ境界の突破、他のエージェントとの未認可の通信など、未認可のアクションにつながる可能性のある脆弱性や設定ミスの特定が割り当てられました。

これらのレッドチーム演習により、従来は知られていなかったソフトウェアの脆弱性や研究インフラにおける設定ミスが発見されました。当社はレッドチームのエージェントが発見した弱点を修正するとともに、オープンソースソフトウェアに起因する関連問題については、Patch the Planet イニシアチブを通じてメンテナーと協力し、脆弱性の開示と修正を行いました。

レッドチーム演習が進むにつれて、エージェントによって発見される脆弱性や設定ミスの数は大幅に減少しました。当社はこれをインフラの堅牢性を示す前向きな兆候と捉えているものの、今後のモデルも引き続き……を識別できる可能性があると予測しています。