私たちはどのようにして ChatGPT アカウントを乗っ取ったのか(出典)Parameter Labs は、ChatGPT に実装されている「Artifacts パターン」(OpenAI は以前「Canvas」と呼んでいましたが、最新の改訂版では HTML プレビュー (HTML previews) と呼ばれているようです)で発見した脆弱性を公開しました。この機能では、インタラクティブなカスタム HTML アプリケーションがサンドボックス化された iframe 内で表示されます。
信頼できないコードが OpenAI の API と通信してユーザーのプライベートデータにアクセスするのを防ぐため、これらのアプリケーション内の HTML をサンドボックス環境に厳格に隔離することは極めて重要です。
Parameter は、非常に複雑な攻撃チェーンを発見しました。OpenAI は数式・グラフのサポート機能に MathLive JavaScript ライブラリを使用していましたが、このライブラリには独自の仮想キーボードが含まれており、サンドボックス化された iframe から postMessage() を介して親ページ側でこの仮想キーボードを呼び出すことが可能でした。
このメッセージを受信する側のコードで innerHTML が使用されていたため、メッセージを送信した側は親ページに任意の HTML を挿入することができました。そして当時、HTML プレビュー用フレームを含む他のサンドボックスフレームがこのメソッドを呼び出すのを阻止する仕組みは存在しませんでした。
つまり、iframe 内の信頼できないコードから HTML を挿入できたということです。innerHTML は script 要素を直接実行することはありませんが、サンドボックス制限のない新しい iframe をインジェクションするために悪用される恐れがありました。
OpenAI のコンテンツセキュリティポリシー(CSP)ルールはインラインスクリプトを完全にブロックしており、ごく少数のドメインからのみスクリプトの読み込みを許可していましたが、そのうちの1つが YouTube でした。そして、YouTube の oEmbed エンドポイントを利用して JavaScript をリフレクト(反射)させ、実行させることができたのです。
ひとたび攻撃者が ChatGPT 上で JavaScript の実行権限を獲得してしまえば、API 経由でユーザーのプライベートデータを取得し、画像リクエストを通じてそれを外部へ持ち出すことは容易でした。
結果として、攻撃者は細工した ChatGPT の共有リンクを作成でき、ログイン状態の他のユーザーがそのリンクを踏むだけで、プライベートデータが窃取されたり、攻撃者がそのユーザーを装って操作を実行したりする危険性がありました。
OpenAI はこの脆弱性を修正し、5,000 ドルのバグ報奨金を支払いましたが、これほど深刻な脆弱性にしては、この金額はやや低すぎるように思われます。