本文约 8,000 字——这是我们关于一种新兴 AI 评估类型的合作论文。该论文也以 PDF 形式发布,见此处。
摘要:AI 模型已经开始在大多数主要基准测试中趋于饱和。但这是否意味着它们能够构建并交付一个真实产品,或端到端地完成一项科学实验,或在政府官僚体系中顺利办理事务?研究人员已经开始在这类真实世界场景中测试 AI。我们将这类评估称为“开放世界评估”(open-world evaluations)。本文定义了开放世界评估,梳理了迄今为止汲取的经验,并给出了开展此类评估的最佳实践。
我们还介绍了 CRUX,这是一个由来自学术界、政府、民间社会和工业界的 17 位研究人员组成的合作项目,将通过开放世界评估定期评测前沿 AI 能力。在我们的首次实验中,一个 AI 智能体构建并发布了一款 iOS 应用到 App Store,只犯了两个错误,其中一个需要人工干预。这为我们提供了一个关于潜在有用能力的早期 संकेत,更重要的是,也为 AI 驱动的应用商店垃圾信息泛滥敲响了早期警钟(我们在发表前一个月已将这一结果披露给苹果)。
我们希望在其他现实世界领域开展类似实验,以尽早发现风险信号;这将是我们未来一年中的主要实证项目之一。
作者:Sayash Kapoor、Peter Kirgis、Andrew Schwartz、Stephan Rabanser、J.J. Allaire、Rishi Bommasani、Magda Dubois、Gillian Hadfield、Andy Hall、Sara Hooker、Seth Lazar、Steve Newman、Dimitris Papailiopoulos、Shoshannah Tekofsky、Helen Toner、Cozmin Ududec、Arvind Narayanan
我们应当如何追踪和预测 AI 能力?当下 AI 社区的主流答案是基准测试。例如,METR 的时间跨度图已被政策分析师、行业领袖以及研究 AI 风险的组织用于论证 AI 能力正在快速提升。
但基准测试既可能高估,也可能低估进展。要把一个任务变成基准测试,它必须被精确定义并可自动验证。问题在于,凡是精确到足以做基准测试的任务,也同样精确到足以针对其进行优化,从而让 AI 智能体在这类任务上表现优异。反过来,基准测试上的低准确率也可能源于一些偶发故障,比如在网站上遇到 CAPTCHA,即便智能体本来有能力解决底层任务。
为应对这些局限,许多研究人员正在转向一种新的评估方式:超越基准测试的、耗时更长、更混乱、真实世界中的评估。Anthropic 的 Nicholas Carlini 使用 Claude 智能体构建了一个能够编译 Linux 内核的C 编译器。Anthropic 和 Andon Labs 设计了一项开放式实验,要求 Claude 在办公室里经营一家小商店。基准测试通常包含数十个以自动化方式评估的任务,而开放世界评估通常只包含少量样本,往往需要人工介入,并且采用开放式方式评估,例如通过分析智能体日志。
人们很容易将这类评估斥为不科学:每次此类评估的样本量都只有 1,且缺乏标准化和可复现性。尽管存在这些局限,我们仍认为这类评估对于收集有关 AI 能力的证据很重要。它们可以为新兴能力提供早期预警,为构建社会韧性的努力提供信息,帮助评估者识别现有基准测试中的盲点,并让企业更清楚地了解 AI 系统不久后可能执行哪些任务,从而为 AI 相关战略决策提供依据。我们将它们称为开放世界评估。
在本文中,我们对开放世界评估进行概念化,回顾过往案例以提炼开展此类评估的最佳实践与常见陷阱,并介绍 CRUX——一个旨在定期开展新开放世界评估的项目。以下是我们的主要观点:
开放世界评估是 AI 评估中一个重要的新兴类别。随着 AI 系统变得越来越强大,用于激发前沿能力的评估也必须变得更加复杂。开放世界评估是这一条不断走向复杂的评估谱系中的最新成员。我们梳理了过去一年中开展的 10 项具有代表性的开放世界评估,以识别最佳实践和关键结论。
CRUX(Collaborative Research for Updating AI eXpectations,协作研究以更新对 AI 的预期)是我们系统开展开放世界评估的尝试。团队成员来自政府、学术界和非营利组织,其中许多人曾主导过开放世界评估,并且对 AI 未来持有不同预期。我们的目标是为 AI 系统的当前能力提供实证证据,即便这些评估目前成本较高;同时为那些可能很快普及的能力提供早期预警。我们计划定期发布新的开放世界评估。
在我们的首个 CRUX 实验中,我们要求一个 AI 智能体开发并将一款简单的 iOS 应用发布到 App Store。许多基准测试考察的是智能体编写代码的能力。但发布一款 iOS 应用还涉及许多其他步骤:对应用进行签名,在网页上发布隐私政策,填写苹果的表单,以及完成审核流程。我们更关心的是智能体是否能满足发布应用这一现实世界要求,而不是它写代码的能力,因此我们要求它构建一个简单应用,并完成 iOS App Store 的提交流程。
该智能体在犯了两个错误后仍然成功了,其中一个错误需要人工介入(忘记正确凭证存放在哪里,以及在 App Store 审核流程中伪造了一个虚构的电话号码)。开发并发布这款应用总共花费了约 1,000 美元。该应用现已上线 iOS App Store。我们认为成本本可以低得多:应用开发与提交流程仅花了 25 美元;绝大部分 token 都花在了监控应用状态上。我们在本文发表前一个月联系了苹果,披露了这一实验结果。应用商店运营方应当为垃圾提交通知和审核做好准备,并加强治理,因为他们可能很快会看到数以千计由智能体自主提交的应用。
我们如何改进开放世界评估?下一步是什么?为了提升开放世界评估的实用性,评估者应明确说明允许多少、何种类型的人类介入,公开智能体在解决任务时收集到的日志,并通过分析日志报告智能体在完成任务过程中具体做了什么。在未来的 CRUX 项目中,我们将评估 AI 研发自动化、AI 治理以及许多其他领域。
开放世界评估是 AI 评估中一个重要的新兴类别
在本节中,我们将定义开放世界评估,并梳理这类评估正在兴起的格局,以提炼其成功经验与局限。我们还会讨论开放世界评估在哪些方面可以弥补基准测试的一些盲点。我们认为,随着 AI 系统变得越来越强大,用于激发前沿