评估 AI Agent 处理日常湿实验科学的能力 | OpenAI
2026年11月6日
介绍 BioBasicsBench:一个用于衡量 AI Agent(智能体)在 100 项常规湿实验任务中解读原始实验数据能力的基准测试。
我们的使命是确保通用人工智能(AGI)造福全人类。作为该使命的一部分,我们希望帮助科学家加速生物学研究——从理解疾病到开发新疗法。若要让 AI Agent 做出实质贡献,它们必须能够可靠地解读科学家日常在湿实验室(进行生物样本实验的实验室)中所接触的实验证据。日常湿实验工作伴随着失败的实验、模糊的图像以及相互冲突的观察结果。现有的基准测试大多围绕为科学论文精选的图表和图像构建,可能会忽略这种模糊性以及排除故障(troubleshooting)所需的工作。因此,我们与专注于酶设计的生物技术公司 Ligo 合作推出了 BioBasicsBench,这是一个全新的基准测试,旨在衡量 Agent 处理常规湿实验分析的能力。
该基准测试包含的 100 项任务旨在检验 Agent 能否解读原始实验数据、发现错误,并在证据不足以支持结论时予以识别。准确完成这些任务至关重要,因为误读图像或忽视用于验证实验结果的对照组(controls)问题,都可能导致科学家得出错误结论,并在无法解决问题的实验上浪费时间。
在允许每项任务进行更多推理的“xhigh”设置下,GPT-6 Astra 平均获得了 66.7% 的可用分数,而 GPT-5.6 Sol 的得分仅为 43.8%。测试结果表明常规实验分析能力取得了进展,但在图像解读、检查对照组以及结合实验背景方面仍有进一步提升的空间。
深入了解 BioBasicsBench
BioBasicsBench 使用原始实验证据,涵盖从凝胶电泳图、菌落培养皿到显微镜图像和仪器读数等各类数据。
BioBasicsBench 涵盖常规湿实验工作的五大领域,共计 100 项任务:蛋白质方法、成像与细胞计数(cytometry)、定量与分析测定(assays)、核酸方法以及分子克隆。任务范围从简单的请求(例如读取凝胶中 DNA 样品的分子量)到详细的分析测定,但均属于湿实验科学家应当能够可靠完成的常规工作。
科学家们利用自身实验的数据创建了这些任务,并为每个问题匹配了专家撰写的评分标准。每项任务都经历了内部评审(由未参与编写该任务的 Ligo 科学家进行)、外部评审(由在湿实验室工作的博士级科学家进行)以及最终的内部评审。
Agent 需要返回包含所要求的结论、测量结果或建议的结构化回答,并在必要时提供支持性推理。回答将对照评分标准的各项细则予以计分,从而使基准测试能够区分完全正确的结论与部分正确的分析。大多数任务同时考察多项技能,包括生物学知识、图像和其他数据的解读、错误检测以及对实验方案(protocol)的理解。
按领域和考察技能划分的任务
100 项独立任务 · 每项任务可考察多个领域
“独立任务”将每项任务计算一次。技能列统计具有相应技能标签的任务。这些类别存在重叠:一项任务可能出现在多个列中,因此不应将技能计数相加来获得任务总数。颜色用于标识领域;阴影越深表示该领域中测试某项技能的任务比例越大。
输入数据保留了科学家日常接触的证据形式:凝胶与印迹(blot)图像、培养皿照片、显微镜多层扫描图(microscopy stacks)、测序读段(sequencing reads)、酶标仪导出数据以及实验台操作视频。一项任务可能包含多种数据。参考对照资料(如 Marker 条带图谱和质粒图谱)用于辅助解释实验证据。
提供给 Agent 的内容
| 数据类型 | 任务数 | 包含内容 |
|---|---|---|
| 凝胶与印迹 (Gels & blots) | 31 | 琼脂糖 DNA 凝胶、SDS-PAGE 凝胶、Western 印迹 (Western blots) |
| 实验方案、记录与规格 (Protocols, notes & specs) | 27 | 实验方案与标准操作规程 (SOP)、实验记录本与运行记录、手写笔记照片、产品目录、仪器规格、已发表的方法 |
| 表格与仪器导出数据 (Tables & instrument exports) | 20 | CSV 和 Excel 导出文件、加样孔布局与清单、原始流式细胞术 (FCS) 文件 |
| 实验台、仪器与试剂照片 (Bench, apparatus & reagent photos) | 18 | 实验台、电泳槽、试剂管与培养管、PCR 板、试管架、pH 试纸、浓缩仪、冰箱、移液工作站台面 |
| 显微镜图像 (Microscopy) | 14 | 原始明场与荧光图像、多通道图像组、Z 轴层叠扫描 (z-stacks)、延时拍摄视频 |
| 仪器屏幕与图表 (Instrument screens & plots) | 13 | 流式细胞仪、显微镜、NanoDrop、酶标仪和天平的屏幕照片;导出的标准曲线、色谱图和数据图表 |
| 测序文件 (Sequencing files) | 12 | 原始长读段 FASTQ 文件、FASTA 序列、GenBank 图谱 |
| 操作视频 (Protocol videos) | 7 | 划线接种、菌种接种、梯度稀释、SDS-PAGE 电泳槽与培养箱设置、天平称量 |
| 琼脂培养皿与菌落 (Agar plates & colonies) | 7 | 转化培养皿、蓝白斑筛选、抗生素纸片抑菌试验培养皿 |
| 参考资料 (Reference sheets) | 21 | Marker 条带图谱 (Ladder charts)、质粒图谱、pH 比色图(辅助材料) |
包含各类数据的任务数量。分类存在重叠;参考资料为辅助材料。
科学家使用自身实验的数据编写了这些任务,并将实验证据与问题及专家制定的评分细则相匹配。每项任务均经历了未参与编写的 Ligo 科学家进行的内部评审、在湿实验室工作的博士级科学家的外部评审,以及最终的内部评审。评审人员审核了提示词(prompt)、实验证据、评分细则、作者说明以及打过分的模型测试结果。
模型回答将根据任务的评分细则进行打分,各项标准分别计分。根据具体任务,这些标准分别评估结论、数值结果、支持性推理或对证据不足的识别。
结果
我们评估了……