著者：Stephan Rabanser、Sayash Kapoor、Rishi Bommasani、Andrew Schwartz、Arvind Narayanan
今週初めに開催されたGoogleのデベロッパーカンファレンスにおいて、同社は最新モデルであるGemini 3.5 Flashと、新しいエージェントアプリケーションであるAntigravity 2.0を発表しました。この新しいエージェントシステムの能力を示すため、Googleは、エージェントのグループがオペレーティングシステム（OS）全体を構築したと主張しました。この作業に必要なプロンプトはわずか1つで、API費用は約900ドルに抑えられ、数十のサブエージェントの協調によって完了したとされています。
これは、複雑なソフトウェアもAIによって低コストで構築できるようになったことを意味するのでしょうか？ 焦る必要はありません。
「単一のプロンプト」という主張は誤解を招く恐れがあります。 ブログ記事では、このOSは1つのプロンプトから構築されたとされています。しかし、記事の中盤でGoogleは、このプロンプトが「最終的に数千行に及んだ」ことを明かしています。このプロンプトを生成するまでに何回の試行が必要だったのでしょうか？ エージェントに与えられた指示はどれほど具体的だったのでしょうか？ これらの重要な詳細がなければ、本当の「秘訣」が優れたモデルによるものなのか、それとも単にプロンプトの作成に多大な労力を費やしただけなのかを判断するのは困難です。さらに、今回の実行は、専門的な役割、サブエージェントへの割り当て、および不正行為を検出・防止するためのエージェントを含む足場（スキャフォールド）1上で行われました。発表記事の中で、Googleはこのスキャフォールドを製品の機能として位置づけています。しかし、このスキャフォールドが「ゼロからのOS構築」というタスクに過剰適合（オーバーフィット）しているのか、あるいは他の複雑なソフトウェアエンジニアリングタスクでも同様に優れたパフォーマンスを発揮できるのかは不明です。
Googleの説明では、どのようなケースが人間による介入とみなされるのかが明確にされていません。 記事では、OS開発の最終的な実行において「人間による追加の指導や修正」はなかったと述べられています。しかし、その基準は定義されていません。記事では、フリーズしたエージェントを強制終了して再起動するためのインフラについて説明されています。また、以前の実行でエージェントが不正行為を行っているように見えたため、チームが不正防止対策を追加してタスクを再実行したことにも言及しています。しかし、これらのテスト実行は手法の一部として報告されていません。また、人間へのエスカレーションが必要なエージェントがいたのか、最終的な実行において手動での再起動、承認、修正が必要だったのか、あるいはエージェントが成功するまでに何回リトライしたのかについても明確にされていません。
この説明では、エージェントが書いたコードが本当にゼロから書かれたものなのか、それともインターネット上の既存のコードをコピーしたものなのかを分析する試みが報告されていません。 Googleに関して言えば、ブログ記事自体も、トイOS（学習用OS）は大学の学部課程で非常によく見られるプロジェクトであり、公開されている実装が容易に見つかることを指摘しています。記事自体も、エージェントがゼロからOSを構築するのではなく、単に既存の情報を復唱しているだけではないかという懸念を提起しています。しかし、類似性分析やログ分析を行ってエージェントが既存のコードをコピーしたかどうかを検証することはしておらず、この懸念には答えていません。直接的なコピーがなかったとしても、訓練データに関連するパターンが記憶されている可能性を考慮すると、OSの作成はエージェントにとってそれほど難しくなかった可能性があり、そのため、エージェントが新規性のあるソフトウェアを作成する能力がどれほど高いかを示す証拠にはなりません。
Googleは、その冗長なプロンプト、エージェントが作成したコード、または実行ログを公開していないため、外部の人間がこれらの主張を独立して評価することは不可能です。 ソースコードやエージェントのログが公開されていれば、独立した研究者が成果物の品質を評価し、エージェントが既存のコードをコピーしていたかどうかといった疑問に答えることができたはずです。ブログ記事では、開発の進捗状況を示す短い動画と、実験の全体的なナラティブ（語り）が提供されているだけです。
一方で、ブログ記事がこのOSの構築にかかった正確なドル額（916.92ドル）と、総トークン予算（計26億トークン）を提示している点は評価できます。これらの数値は有用な背景情報を提供しています。私たちが以前にレビューした多くの評価では、コストすら一切開示されていないことが多く、そのため、それらのセンセーショナルな結論を他の評価と比較することは困難でした。
それにもかかわらず、Googleのブログ記事は本質的にプレスリリースにすぎません。科学的研究のような厳密さを求めるのは現実的ではないことも理解しています。このような評価（すなわち、1回の実行で長期にわたる現実世界のタスクを評価し、実験者がエージェントの行動を説明するもの）は、今や一般的になっています。その多くがAI企業自身によって行われているため、この種のコンテンツ全体を誇大広告として一蹴したくなる気持ちもよく分かります。
しかし、そうすることは誤りです。私たちはこの新たなパラダイムをオープンワールド評価（open-world evaluations）と呼んでおり、最近の論文（および付随するブログ記事）でこのトレンドを特定しました。重要なのは、オープンワールド評価には新しい方法論的規範が必要であると私たちは考えている点です。適切に実施されれば、ベンチマークに基づく評価では提供できない貴重な視点を提供することができます。
Googleの実験は、エージェントまたはエージェントのチームが、停滞や混乱に陥ることなく、特定の種類のタスクを自律的またはほぼ自律的に長時間処理し、継続的に進捗を生み出せるという証拠をさらに積み上げました。私たちの論文で論じているように、この種のタスクにおいて、ベンチマーク評価はコスト面を含め、多くの点で実際には不可能です。したがって、学術界、非営利団体、政府の独立した評価者が介入し、AIベンダー自身の主張からは見出すのが難しい厳密性と信頼性をオープンワールド評価にもたらすための、非常にエキサイティングな時期が到来しています。
スキャフォールド（scaffold、足場）とは、AIモデルの周囲に構築されたコード、プロンプト、ツールのレイヤーであり、記憶の処理、ツールへのアクセス、環境との対話など、自律的に行動する能力をモデルに与えるためのものです。例えば、Claude Codeは、AnthropicのClaudeモデルがプログラミングエージェントとして動作できるようにするためのスキャフォールドです。