本文は8,000語に及ぶ、新興のAI評価手法に関する共同論文です。論文はPDF形式でも公開されており、こちらからご覧いただけます。
アブストラクト：AIモデルは、主要なベンチマークの多くで飽和状態に近づき始めています。しかし、これはAIが実際の製品を構築して提供したり、科学実験をエンドツーエンドで実行したり、政府の官僚制度を切り抜けたりできることを意味するのでしょうか？研究者たちは、こうした現実世界のシナリオでAIのテストを開始しています。私たちはこのような評価を「オープンワールド評価（open-world evaluations）」と呼んでいます。本稿では、オープンワールド評価を定義し、これまでの教訓を総括し、こうした評価を実施するためのベストプラクティスを提案します。
また、学術界、政府、市民社会、産業界の17人の研究者による共同プロジェクト「CRUX」を紹介します。このプロジェクトでは、オープンワールド評価を通じてフロンティアAIの能力を定期的に測定します。最初の実験では、AIエージェントがiOSアプリを構築し、App Storeにリリースすることに成功しました。犯したミスはわずか2つで、そのうち人間の介入が必要だったのは1つだけでした。これは、潜在的に有用な能力の兆しを示すものであると同時に、さらに重要なこととして、AIによるアプリストアのスパム問題に対する早期警告（発表の1ヶ月前にAppleにこの結果を開示済み）をもたらすものです。
私たちは、早期の警告サインを検知するために、他の現実世界の領域でも同様の実験を行いたいと考えています。これは、私たちの来年の主要な実証プロジェクトの一つとなる予定です。
著者：Sayash Kapoor, Peter Kirgis, Andrew Schwartz, Stephan Rabanser, J.J. Allaire, Rishi Bommasani, Magda Dubois, Gillian Hadfield, Andy Hall, Sara Hooker, Seth Lazar, Steve Newman, Dimitris Papailiopoulos, Shoshannah Tekofsky, Helen Toner, Cozmin Ududec, Arvind Narayanan
AIの能力をどのように追跡し、予測すべきでしょうか？現在のAIコミュニティにおける主流の答えはベンチマークです。例えば、METRのタイムホライズングラフは、政策アナリスト、業界リーダー、AIリスクを研究する機関によって、AIの能力が急速に向上していることを論証するために使用されています。
然而、ベンチマークは進歩を過大評価することも、過小評価することもあります。タスクをベンチマークにするには、それを正確に定義し、自動的に検証できるようにする必要があります。問題は、ベンチマークにできるほど十分に正確なタスクは、最適化するのにも十分なほど正確であるため、AIエージェントがそのタスクで優れたパフォーマンスを発揮できてしまう点にあります。逆に、ベンチマークでの正解率が低い原因が、ウェブサイトでのCAPTCHA遭遇といった偶発的な失敗によるものである場合もあり、エージェントが実際にはその根本的なタスクを解決する能力を持っているにもかかわらず、低評価になってしまうことがあります。
これらの限界に対処するため、多くの研究者は新しい評価方法へと移行しつつあります。それは、ベンチマークテストを超えた、長尺で複雑な現実世界の評価です。AnthropicのNicholas Carliniは、Claudeエージェントを使用して、LinuxカーネルをコンパイルできるCコンパイラを構築しました。AnthropicとAndon Labsは、Claudeにオフィスの売店の管理を任せる自由形式の実験を設計しました。ベンチマークテストは通常、数十のタスクで構成され、自動化された方法で評価されますが、オープンワールド評価は少数のサンプルしか含まないことが多く、通常は人間の介入を必要とし、エージェントのログ分析などのオープンな方法で評価されます。
このような評価は、各評価のサンプルサイズが1であり、標準化や再現性に欠けるため、非科学的であると切り捨てられがちです。しかし、こうした限界があるにもかかわらず、私たちはこれらの評価がAI能力に関するエビデンスを収集するために非常に重要であると考えています。これらは、新たな能力に対する早期警告を提供することで、社会的なレジリエンスを高める取り組みに情報をもたらし、評価者が既存のベンチマークの盲点を発見するのを助け、企業がAIシステムが近い将来にどのようなタスクを実行できるようになるかをより明確に把握できるようにすることで、AIに関する戦略的意思決定の根拠を提供します。私たちはこれらをオープンワールド評価と呼んでいます。
本稿では、オープンワールド評価を概念化し、過去の事例を振り返ってこのような評価を実施する際のベストプラクティスと落とし穴を特定し、新しいオープンワールド評価を定期的に実施することを目的としたプロジェクト「CRUX」を紹介します。以下は、私たちの主な洞察です。
オープンワールド評価は、AI評価における重要な新興カテゴリです。AIシステムが強力になるにつれ、フロンティア能力の評価もより複雑にならざるを得ません。オープンワールド評価は、複雑さを増し続ける一連 of 評価手法における最新のステップです。私たちは、過去1年間に実施された10の著名なオープンワールド評価を調査し、ベストプラクティスと重要な結論をまとめました。
CRUX（Collaborative Research for Updating AI eXpectations：AIへの期待を更新するための共同研究）は、オープンワールド評価を体系的に実施するための私たちの試みです。チームメンバーは政府、学術界、非営利団体から集まっており、その多くがオープンワールド評価を主導した経験を持ち、AIの未来に対して異なる期待を抱いています。私たちの目標は、現在の評価コストが高くとも、AIシステムの*現在の* *能力*に関する実証的なエビデンスを提供することであり、同時に、近い将来に普及する可能性のある能力に対する早期警告を提供することです。私たちは、新しいオープンワールド評価を定期的に発表する予定です。
最初のCRUX実験では、AIエージェントにシンプルなiOSアプリを開発し、App Storeにリリースすることを求めました。多くのベンチマークは、エージェントのコード記述能力をテストします。しかし、iOSアプリのリリースには、アプリへの署名、ウェブ上でのプライバシーポリシーの公開、Appleのフォームへの記入、アプリの審査プロセスの完了など、他にも多くのステップが含まれます。私たちは、コードを書く能力よりも、エージェントがアプリをリリースするための現実世界の要件を満たせるかどうかに注目したため、シンプルなアプリを構築し、iOS App Storeの提出プロセスを完了させました。
エージェントは成功するまでに計2つのミスを犯し、そのうち1つは人間の介入が必要でした（正しい資格情報がどこに保存されているかを忘れたこと、およびApp Storeの審査プロセスで架空の電話番号を捏造したこと）。このアプリの開発とリリースにかかった総コストは約1,000ドルでした。このアプリは現在、iOS App Storeで公開されています。私たちは、コストはもっと抑えられたはずだと考えています。アプリの開発と提出自体には25ドルしかかかっておらず、トークンの大部分はアプリのステータス監視に費やされました。私たちは本稿発表の1ヶ月前にAppleに連絡し、この実験結果を開示しました。アプリストアの運営者は、エージェントを介して自律的に提出される何千ものアプリを間もなく目にすることになるため、スパムの提出に備え、管理を行う必要があります。
オープンワールド評価をどのように改善すべきか？次のステップは何か？オープン