Google の AI エージェントは本当に 916 ドルで OS を構築したのか?
独立評価の重要性
Sayash Kapoor と Arvind Narayanan
2026 年 5 月 22 日
著者:Stephan Rabanser、Sayash Kapoor、Rishi Bommasani、Andrew Schwartz、Arvind Narayanan
ちょうど今週初めに開かれた Google の開発者会議で、同社は最新モデル Gemini 3.5 Flash と、新しいエージェントアプリ Antigravity 2.0 を発表しました。この新しいエージェントアーキテクチャの能力を示すため、Google は 複数のエージェントが協力して完全なオペレーティングシステムを構築したと主張しました。報道によると、この作業はたった 1 つのプロンプトで実現され、API 料金は約 900 ドルにとどまり、さらに数十のサブエージェントが連携して作業したということです。
では、複雑なソフトウェアはもはや AI によって低コストで構築できるのでしょうか? そう急ぐのはまだ早いです。
-
「単一プロンプト」という言い方は誤解を招きます。 ブログ記事では、このオペレーティングシステムは 1 つのプロンプトで構築されたとされています。しかし、記事の途中で Google は、そのプロンプトが「最終的に数千行に及んだ」と明かしています。そのプロンプトを生成するのに何回試行したのでしょうか。エージェントに与えた指示はどれほど具体的だったのでしょうか。こうした重要な詳細がなければ、成功の鍵がより優れたモデルにあったのか、それとも単にモデルへの指示により多くの労力をかけただけなのかを判断するのは困難です。さらに、この実行は、専任の役割分担、サブエージェントへのタスク割り当て、そして不正を検知・防止するためのエージェントを含む脚手架1 の上で行われました。Google は公開記事の中で、この脚手架を製品機能として位置づけています。しかし、この脚手架が「ゼロからオペレーティングシステムを構築する」という課題にだけ過剰適合しているのか、それとも他の複雑なソフトウェア工学タスクでも同様に有効なのかは分かりません。
-
Google の説明では、何を人間の介入と見なすのかが明確ではありません。 記事では、このオペレーティングシステムを作成した最終実行には「人間からの追加の指示や修正はなかった」と述べています。しかし、その基準は定義されていません。記事には、停止したエージェントを終了して再起動するためのインフラが記載されています。また、以前の実行でエージェントが不正をしているように見えたため、チームが反不正対策を追加して再実行したとも書かれています。しかし、これらの事前実験は方法の説明に含まれていません。記事はまた、エージェントから人間へのエスカレーション依頼があったのかどうか、最終実行で手動の再起動・承認・修正が必要だったのかどうか、そして最終的な成功に至るまでに合計で何回再試行したのかを明確にしていません。
-
その説明では、エージェントがゼロからコードを書いたのか、それともインターネット上の既存コードをコピーしたのかを分析したかどうかが報告されていません。 Google 自身の説明でも、この玩具 OS は大学の一般的な授業課題であり、公開実装も簡単に見つかると述べられています。記事自体も、エージェントがゼロから構築したのではなく、情報を言い換えているだけではないかという懸念を提起しています。しかし、その点については扱われておらず、既存コードとの類似度分析やログ分析も行われていません。たとえ直接コピーしていなかったとしても、関連するパターンを訓練データから記憶しているため、オペレーティングシステムの作成はエージェントにとって比較的容易だった可能性があります。したがって、これはエージェントが 新規性のある ソフトウェアを生み出す能力をどの程度持つかを示すものではありません。
-
Google は、冗長なプロンプト、エージェントが書いたコード、実行ログを公開していないため、これらの主張を独立に評価することができません。 ソースコードやエージェントのログが公開されていれば、独立した研究者が生成物の品質を評価でき、エージェントが既存コードをコピーしていないかといった疑問にも答えられます。ブログ記事が提供しているのは、短い動画、開発の進捗を記録したスナップショット、そして実験全体の物語だけです。
一方で、このブログ記事は、オペレーティングシステムを構築するのにかかった正確な費用(916.92 ドル)と、総トークン予算(合計 26 億トークン)を明示しています。これらの数字は有用な文脈情報を与えており、その点は Google を評価すべきです。私たちがこれまで調査してきた多くの評価では、コストがまったく開示されておらず、そのため見出しだけの結論を他の評価と比較するのが非常に難しくなっていました。
とはいえ、Google のブログ記事は本質的にはプレスリリースです。したがって、科学的に完全に厳密であることを求めるのは現実的ではない、という点も認めます。このような評価、つまり長期間にわたる現実世界のタスクを 1 回だけ実行し、実験者がエージェントの振る舞いを物語として記述する形式は、今やかなり一般的です。その多くが AI 企業自身によって行われているため、この種の評価全体を単なる宣伝だと見なしたくなるのも無理はありません。
しかし、それは誤りです。私たちはこの新しい評価の流れを オープンワールド評価(open-world evaluations)と呼び、最近の論文(および付随するブログ記事)でこの潮流を論じました。重要なのは、オープンワールド評価には新しい方法論的な規範が必要だと考えていることです。適切に実施されれば、ベンチマーク評価では得られない価値ある視点を提供できます。
Google の実験は、エージェントまたはエージェントチームが、ある種のタスクに対して長時間にわたり自律的、あるいはほぼ自律的に作業を続け、停止したり混乱したりすることなく進捗できることを、さらに示しました。私たちが論文で論じたように、こうしたタスクでは、コスト要因を含め、ベンチマークによる評価は多くの面で実際には不可能です。だからこそ今こそ、学界、非営利組織、政府の独立した評価者が前に出て、AI ベンダー自身の説明だけでは期待しにくい厳密さと信頼性をオープンワールド評価に与えるべき時なのです。
脚手架(scaffold)とは、AI モデルの周囲に構築されるコード、プロンプト、ツールの層であり、記憶やツール呼び出しなどを扱いながら、自律的に動作できるようにするものです。