日常的なウェットラボ科学におけるAIエージェントの能力評価 | OpenAI
2026年11月6日
100項目の日常的なウェットラボタスクにおいて、AIエージェントが生の実験データを読み解く能力を測定するベンチマーク「BioBasicsBench」を発表します。
私たちの使命は、汎用人工知能(AGI)が全人類に利益をもたらすようにすることです。その取り組みの一環として、疾患の解明から新たな治療法の開発に至るまで、科学者による生物学研究の加速を支援したいと考えています。AIエージェントが実質的な貢献を果たすためには、科学者が日々のウェットラボ(生体試料を扱う実験室)で目にする実験結果やデータを、高精度かつ確実に解釈できなければなりません。日常のウェットラボ業務には、実験の失敗や不鮮明な画像、矛盾する観察結果がつきものです。従来のベンチマークの多くは学術論文向けに厳選された図表や画像を中心に構成されており、現実の曖昧さやトラブルシューティング(原因究明と対策)に要する労力が見過ごされがちでした。そこで私たちは、酵素設計を専門とするバイオテクノロジー企業Ligoと提携し、日常的なウェットラボの分析業務をエージェントがどれだけこなせるかを測定する新たなベンチマーク「BioBasicsBench」を開発しました。
本ベンチマークに含まれる100のタスクは、エージェントが生の実験データを読み解き、エラーを発見し、結論を裏付ける証拠が不十分なケースを見分けられるかを検証することを目的としています。画像の誤認や、実験結果を検証するためのコントロール(対照群)の問題の見落としは、誤った結論につながり、無駄な追加実験に時間を費やす原因となるため、これらのタスクを正確に実行できる能力は極めて重要です。
各タスクでより高度な推論を可能にする「xhigh」設定において、GPT-6 Astraは獲得可能なスコアの平均66.7%を達成したのに対し、GPT-5.6 Solのスコアは43.8%にとどまりました。この結果は日常的な実験分析能力の進歩を示しているものの、画像解釈、コントロールの確認、そして実験の背景情報の統合といった面において、依然として改善の余地が大きいことを浮き彫りにしています。
BioBasicsBench の詳細
BioBasicsBenchは、電気泳動ゲル画像やコロニープレートから顕微鏡画像、各種機器の測定データに至るまで、生の実験証拠データを活用しています。
BioBasicsBenchは、日常的なウェットラボ業務の主要5領域にわたる計100のタスクで構成されています。具体的には、タンパク質実験、イメージング・サイトメトリー、定量・分析アッセイ、核酸実験、分子クローニングです。タスクの内容は、ゲル中のDNAサンプルの分子量を読み取るといった単純なものから詳細なアッセイの分析まで多岐にわたりますが、いずれもウェットラボの研究者であれば確実にこなせることが期待される日常業務です。
これらのタスクは、研究者が自らの実験データをもとに作成し、各問題には専門家による採点ルーブリック(評価基準)が用意されています。すべてのタスクは、問題作成に関与していないLigoの研究者による内部レビュー、ウェットラボで研究を行う博士号保持者による外部レビュー、そして最終的な内部レビューという厳格なプロセスを経て策定されました。
エージェントには、求められた結論、測定結果、または推奨事項を含み、必要に応じてそれを裏付ける推論を添えた構造化された回答を出力することが求められます。回答はルーブリックの各評価項目に照らして採点されるため、完全に正しい結論と、部分的にのみ正しい分析とを明確に区別できます。多くのタスクは、生物学的知識、画像やその他のデータの解釈、エラー検出、プロトコル(実験手順)の理解など、複数のスキルを同時に評価します。
領域および評価スキル別のタスク分類
100件の独立したタスク · 各タスクで複数の領域を評価可能
「独立したタスク」は各タスクを1回のみカウントしています。スキル列には該当するスキルタグが付与されたタスク数を集計しています。これらのカテゴリには重複があります。1つのタスクが複数の列に含まれる場合があるため、スキルの合計数はタスクの総数とは一致しません。色は領域を示し、濃い網掛けほどその領域で該当スキルをテストするタスクの割合が高いことを表します。
入力データには、研究者が日常的に接する生の形式をそのまま採用しています。ゲルやブロットの画像、プレート写真、顕微鏡のZスタック画像、シーケンスリード、マイクロプレートリーダーから出力された生データ、実験台での作業動画などが含まれます。1つのタスクに複数種類のデータが含まれることもあります。また、実験データの解釈を補助するために、マーカーのラダー図やプラスミドマップなどのリファレンス資料も提供されます。
エージェントに提供されるコンテンツ
| データ種別 | タスク数 | 含まれる内容 |
|---|---|---|
| ゲル & ブロット (Gels & blots) | 31 | アガロースDNAゲル、SDS-PAGEゲル、ウェスタンブロット (Western blots) |
| プロトコル・ノート・仕様書 (Protocols, notes & specs) | 27 | プロトコル、標準作業手順書 (SOP)、実験ノート、実行ログ、手書きメモの写真、製品カタログ、機器仕様書、既報の手法 |
| テーブル & 機器出力データ (Tables & instrument exports) | 20 | CSVおよびExcelのエクスポートファイル、ウェル配置図、ロードリスト、フローサイトメトリー (FCS) の生データ |
| 実験台・機器・試薬の写真 (Bench, apparatus & reagent photos) | 18 | 実験台、電気泳動槽、試薬チューブ、培養チューブ、PCRプレート、チューブラック、pH試験紙、遠心濃縮器、冷蔵庫、自動分注機のデッキ |
| 顕微鏡画像 (Microscopy) | 14 | 生の明視野画像および蛍光画像、マルチチャネル画像セット、Z軸スタック画像 (z-stacks)、タイムラプス動画 |
| 機器画面 & グラフ (Instrument screens & plots) | 13 | フローサイトメーター、顕微鏡、NanoDrop、マイクロプレートリーダー、電子天秤の画面写真。出力された検量線、クロマトグラム、データプロット |
| シーケンスファイル (Sequencing files) | 12 | 生のロングリードFASTQファイル、FASTA配列、GenBankマップ |
| 手順動画 (Protocol videos) | 7 | 画線塗布、植菌、段階希釈、SDS-PAGE電気泳動槽およびインキュベーターのセットアップ、天秤での計量 |
| 寒天培地プレート & コロニー (Agar plates & colonies) | 7 | 形質転換プレート、ブルー・ホワイトセレクション、抗生物質ディスク感受性試験プレート |
| リファレンス資料 (Reference sheets) | 21 | マーカーのラダー図 (Ladder charts)、プラスミドマップ、pH比色表(補助資料) |
各データ種別を含むタスク数。カテゴリには重複があります。リファレンス資料は補助として提供されます。
研究者たちは自身の実験データを用いてこれらのタスクを作成し、実験証拠データを設問および専門家が作成した評価基準と対応させました。各タスクは、作成に関与していないLigoの研究者による内部レビュー、ウェットラボでの実務経験を持つ博士号レベルの研究者による外部レビュー、そして最終内部レビューを受けました。レビュアーは、プロンプト、実験データ、評価基準、作成者による解説、およびモデルのテスト採点結果を精査しました。
モデルの回答はタスクごとの評価基準に従って個別に採点されます。タスクの内容に応じ、結論、数値結果、裏付けとなる推論、あるいは証拠が不十分であることの見極めなどが個別の基準として評価されます。
結果
評価を実施したところ……