オープンソース Agent ランキング
企業記事 投稿日 2026年5月18日
汎用型 AI エージェントはどれほど強いのか? 私たちは、その答えを明らかにするためのオープンな評価フレームワークを構築しました。
AI 分野の多くのベンチマークは、各モデルがある基準タスクで何点を取ったか、という単純な結果を示すだけです。しかし、エージェントを実運用に載せるときに選ぶのは、単なるモデルではありません。ツールをどう使えるか、どう手順を立てるか、行動の合間に何を記憶するか、失敗時にどう復帰するかまで含めた、完全なシステムです。これらのどれか一つを変えるだけで、同じモデルでも、まったく異なるコストで全く違う結果を生み出し得ます。
AI エージェントの性能は、内部のモデルだけでなく、それがどう構築されているかにも左右されます。
本日、私たちは Open Agent Leaderboard を公開します。これは、モデル単体ではなく、エージェントシステム全体を比較するためのオープンなベンチマークです。品質とコストを同時に示すため、何が使えるかだけでなく、何をデプロイする価値があるかまで判断できます。
このランキングには、実験の実行と再現のための Exgentic フレームワークも付属しており、手法と結果の全体像を説明した論文も公開しています。初日からすべてオープンです。
「汎用性」は測れるのか?
AI エージェントは、特定のタスク向けに綿密に最適化すると非常に有用になります。たとえば、見慣れたコードリポジトリでのプログラミングや、既知のツール群を使ったカスタマーサポート対応などです。しかし、より難しい問いは、同じエージェントが、タスクごとに異なるツール、ルール、制約を持つ多様な課題を、個別に手作業で調整されることなく扱えるかどうかです。
より汎用的なエージェントとは、新しい環境に置いても、そのまま動くエージェントです。
これが私たちの言う「汎用性」です。これは二値のラベルではなく、連続的なスペクトラムとして捉えるのが最も適切です。もちろん、理論上は「汎用」でも実用上は役に立たない、というのでは意味がありません。本当に重要なのは、タスクや環境の範囲が広がってもエージェントが能力を維持できるか、そしてそれを妥当なコストで実現できるか、という点です。何でもこなせるように見えても、運用コストが法外に高いシステムは、実際に意味のあるレベルでは汎用的とは言えません。
このランキングが測っているのは、エージェントが実際にどれだけ汎用的か、ということです。
多様で見慣れない環境において、異なるツール、ルール、制約を伴うタスクでエージェントを評価し、品質とコストを同時に報告します。これにより、システムの性能だけでなく、本当にデプロイに値するかどうかまで見極められます。将来、真に汎用的なエージェントに必要となる能力のすべてを網羅しているわけではありませんが、これまで利用可能だったどの方法よりも、さまざまな状況でのエージェント性能を厳密に検証できます。さらに、モデルそのものではなく、完全なエージェントシステムを測定するため、結果を左右している真の要因を明らかにできます。
私たちが構築したもの
私たちは 6 つのベンチマークを統合しました。いずれも、現実の異なる種類のタスクを評価するためのものです。これらを合わせることで、プログラミング、カスタマーサポート、テクニカルサポート、パーソナルアシスタント、リサーチといった幅広い仕事をカバーすることを目指しています。
SWE-Bench Verified—— 実在するコードリポジトリで実在のバグを修正するBrowseComp+—— Web 全体を対象に複雑な問いを調査するAppWorld—— 数百のアプリと操作をまたいで個人タスクを完了するtau2-Bench Airline & Retail—— 企業ポリシーに従ってカスタマーサポートの依頼に対応するtau2-Bench Telecom—— 企業ポリシーに従ってテクニカルサポートに対応する
これらはいずれも、研究コミュニティによって作成・精査されてきた、確立されたベンチマークです。採用した理由は、単一のベンチマークだけで汎用エージェントを完全に表せるからではなく、組み合わせることで、実に異なる能力――実際のコード修正、オープンエンドな調査、広大なアクション空間、ルールに制約された対話――をテストできるからです。この組み合わせこそが、評価に意味を与えます。
これらのベンチマークは、それぞれ本来、独自の方法で単一タイプのタスクを評価するために設計されました。それらを一緒に機能させるには、共通の構造を与える必要があります。そこで私たちは統一プロトコルを導入し、各ベンチマークに同じ形式を持たせました。すなわち、タスク(何をするか)、コンテキスト(何を知る必要があるか)、アクション集合(何が許可されているか)です。
各エージェントに、それぞれのベンチマークの言葉を話させるのではなく、全員に同じ言語を話させるのです。
この標準化は簡単ではありません。各ベンチマークには、それぞれ固有の前提、指示、対話形式があります。これらが…