本文は約8,000字で、新興のAI評価手法に関する共同論文です。この論文はPDFでも公開されており、こちらからご覧いただけます。
要約:AIモデルは主要なベンチマークの大半で、すでに飽和し始めています。しかし、それは本当に実用的な製品を構築して納品できること、あるいは科学実験を端から端まで完遂できること、さらには政府の官僚制度の中で手続きを円滑に進められることを意味するのでしょうか。研究者たちは、こうした現実世界の場面でAIのテストを始めています。私たちは、この種の評価を「オープンワールド評価(open-world evaluations)」と呼びます。本文では、オープンワールド評価を定義し、これまでに得られた知見を整理し、この種の評価を実施するためのベストプラクティスを示します。
また、学界、政府、市民社会、産業界から集まった17人の研究者による共同プロジェクトCRUXも紹介します。CRUXは、オープンワールド評価を通じて最先端AIの能力を定期的に測定していきます。最初の実験では、AIエージェントがiOSアプリを構築し、公開してApp Storeに提出するところまでやり遂げましたが、ミスは2件だけで、そのうち1件は人手による介入が必要でした。これは、潜在的に有用な能力が現れつつあることを示す初期の兆候であると同時に、AI主導のアプリストアスパムが広がるリスクへの早期警鐘でもあります(この結果は、公開の1か月前にAppleへ開示済みです)。
私たちは、ほかの現実世界の領域でも同様の実験を行い、リスクの兆候を早期に発見したいと考えています。これは、今後1年間における私たちの主要な実証研究のひとつです。
著者:Sayash Kapoor、Peter Kirgis、Andrew Schwartz、Stephan Rabanser、J.J. Allaire、Rishi Bommasani、Magda Dubois、Gillian Hadfield、Andy Hall、Sara Hooker、Seth Lazar、Steve Newman、Dimitris Papailiopoulos、Shoshannah Tekofsky、Helen Toner、Cozmin Ududec、Arvind Narayanan
AIの能力は、どう追跡し、どう予測すべきなのでしょうか。現在のAIコミュニティにおける主流の答えはベンチマークです。たとえば、METRの時間的スパンの図は、政策アナリストや業界リーダー、AIリスクを研究する組織によって、AI能力が急速に向上していることを示す根拠として用いられています。
しかし、ベンチマークは進歩を過大評価することも、過小評価することもあります。あるタスクをベンチマーク化するには、そのタスクを厳密に定義し、自動で検証できなければなりません。問題は、ベンチマークにできるほど厳密に定義されたタスクは、同時に、そのタスクに対して最適化することも十分に可能なほど厳密だという点です。その結果、AIエージェントはそうしたタスクで高い性能を示せてしまいます。逆に、ベンチマークで精度が低く出る理由が、たとえばウェブサイト上でCAPTCHAに遭遇したといった偶発的な失敗であることもあり、底にあるタスク自体を解ける能力があっても、低評価につながる場合があります。
こうした限界に対処するため、多くの研究者が新しい評価手法に目を向けています。それは、ベンチマークを超えた、より長時間で、より雑然としていて、現実世界に根ざした評価です。AnthropicのNicholas Carliniは、Claudeエージェントを使ってLinuxカーネルをコンパイルできるCコンパイラを構築しました。AnthropicとAndon Labsは、Claudeにオフィスで小さな店舗を運営させるというオープンエンドな実験を設計しました。ベンチマークには通常、自動評価される数十個のタスクが含まれますが、オープンワールド評価では通常、サンプル数はごく少なく、しばしば人手による介入が必要で、エージェントのログを分析するなど、より開かれた方法で評価します。
こうした評価は、科学的ではないとして片付けられがちです。毎回のサンプルサイズが1しかなく、標準化も再現性も不足しているからです。とはいえ、こうした限界があっても、AI能力に関する証拠を集めるうえで重要だと私たちは考えています。新たに現れつつある能力を早期に警告し、社会のレジリエンスを高める取り組みに資する情報を提供し、既存ベンチマークの盲点を評価者が見つける助けとなり、企業がAIシステムが近い将来どのようなタスクを実行し得るのかをより明確に把握することで、AI関連の戦略的意思決定にも役立ちます。私たちはこれをオープンワールド評価と呼びます。
本稿では、オープンワールド評価を概念化し、過去の事例を振り返って、この種の評価を実施する際のベストプラクティスとよくある落とし穴を整理します。また、定期的に新しいオープンワールド評価を実施することを目的としたプロジェクト、CRUXも紹介します。以下が主なポイントです。
オープンワールド評価は、AI評価の中でも重要な新興カテゴリーです。AIシステムがますます高性能になるにつれ、最先端能力を引き出す評価も、より複雑でなければなりません。オープンワールド評価は、そのように複雑化していく評価の連なりにおける最新の一員です。私たちは、過去1年に行われた10件の代表的なオープンワールド評価を整理し、ベストプラクティスと重要な知見を抽出しました。
CRUX(Collaborative Research for Updating AI eXpectations、AIへの期待を更新するための協働研究)は、私たちがオープンワールド評価を体系的に進めるための取り組みです。チームには政府、学術界、非営利組織のメンバーが参加しており、その多くはオープンワールド評価を主導してきた経験があり、AIの未来に対する見方も異なっています。私たちの目標は、コストが高くても、AIシステムの現在の能力について実証的な証拠を示すこと、そして近いうちに広く普及するかもしれない能力について早期警告を提供することです。今後は、新しいオープンワールド評価を定期的に発表していく予定です。
最初のCRUX実験では、AIエージェントにシンプルなiOSアプリを開発させ、それをApp Storeに公開までさせました。多くのベンチマークは、エージェントのコーディング能力を測ります。しかし、iOSアプリの公開には、コードを書く以外にも多くの作業が必要です。アプリの署名、ウェブ上でのプライバシーポリシーの公開、Appleの各種フォームの記入、審査プロセスの完了などです。私たちが重視したのは、コードを書く能力そのものではなく、アプリを公開するという現実世界の要件を満たせるかどうかでした。そのため、単純なアプリを作成させ、iOS App Storeへの提出まで行わせました。
このエージェントは2つのミスをしながらも成功しました。そのうち1つは人手による介入が必要でした(正しい認証情報がどこに保存されているかを忘れたことと、App Storeの審査フローで架空の電話番号を偽って入力したことです)。このアプリの開発と公開にかかった総費用は約1,000ドルでした。アプリは現在、iOS App Storeで公開されています。実際には、もっと低コストで実現できたはずだと私たちは考えています。アプリの開発と提出だけなら25ドルで済んでおり、トークンの大半はアプリの状態監視に費やされました。私たちは本稿公開の1か月前にAppleへ連絡し、この実験結果を共有しています。アプリストア運営者は、スパム的な提出や審査への備えを進め、ガバナンスを強化すべきです。エージェントによる自律提出が、近いうちに数千件単位で発生する可能性があるからです。
オープンワールド評価をどう改善し、次に何をすべきか?オープンワールド評価の実用性を高めるには、どれだけの、どの種類の人間介入を許容するのかを明確に示し、タスク解決の過程でエージェントが収集したログを公開し、ログ解析を通じて、タスク遂行中にエージェントが具体的に何をしたのかを報告すべきです。今後のCRUXプロジェクトでは、AI研究開発の自動化、AIガバナンス、そして多くの他分野を評価していく予定です。
オープンワールド評価は、AI評価の中でも重要な新興カテゴリーです
本節では、オープンワールド評価を定義し、この種の評価がどのように広がりつつあるのかを整理して、成功例と限界を明らかにします。また、オープンワールド評価がベンチマークの盲点をどのように補い得るのかについても論じます。私たちは、AIシステムがますます高性能になるにつれ、前線の能力を引き出すための