开源 Agent 排行榜
企业文章 发布于 2026 年 5 月 18 日
通用型 AI 智能体有多强?我们构建了一个开放评测框架来回答这个问题。
AI 领域的大多数评测都会给出一个简单结果:每个模型在某个基准任务上的得分。但当你部署一个智能体时,你选择的不仅仅是一个模型,而是一个完整系统:智能体可以使用哪些工具、如何规划步骤、在动作之间记住什么、出错时如何恢复。改变其中任意一项,同一个模型都可能在完全不同的成本下产生截然不同的结果。
AI 智能体的表现,不仅取决于其中的模型,还取决于它是如何构建的。
今天,我们发布 Open Agent Leaderboard,这是一个开放基准,用于比较完整的智能体系统,而不仅仅是其中的模型。它同时报告质量和成本,因此你不仅能看到什么能用,还能看到什么值得部署。
该排行榜还配套提供了用于运行和复现实验的 Exgentic 框架,以及一篇描述完整方法和结果的论文。从第一天起,一切都是开放的。
我们能衡量“通用性”吗?
当 AI 智能体被精心定制用于某个特定任务时,它们会变得非常有用,比如在熟悉的代码仓库中编程,或者利用一套已知工具处理客服请求。但更难的问题是:同一个智能体能否处理许多不同任务——每个任务都有自己的一套工具、规则和约束——而不需要为每个场景手工定制。
更通用的智能体,是你把它放进一个新环境里,它就能直接工作的智能体。
这就是我们所说的通用性,它最好被理解为一个连续谱,而不是一个二元标签。当然,理论上“通用”却没有实际效果,是没有意义的。真正重要的是:当任务和环境的范围扩大时,智能体是否仍然保持能力,以及它是否能以合理成本做到这一点。一个什么都能处理、但运行成本高得离谱的系统,在任何有实际意义的层面上都算不上通用。
这个排行榜衡量的,正是智能体实际有多通用。
它会在多样且陌生的环境中评估智能体,每个环境都有不同的工具、规则和约束,并同时报告质量与成本。这样你不仅能看出系统表现如何,还能判断它是否真的值得部署。它并没有覆盖一个通用智能体最终可能需要的全部能力,但它比此前任何可用方案都更能检验智能体在不同情境下的表现。而且,它衡量的是完整的智能体系统,而不仅是模型本身,因此能够揭示真正驱动结果的因素。
我们构建了什么
我们整合了六个基准,每个基准都测试一种不同类型的现实任务。它们合在一起,旨在覆盖广泛的工作场景:编程、客服、技术支持、个人助理和研究。
SWE-Bench Verified—— 在真实代码仓库中修复真实漏洞BrowseComp+—— 在整个网络中研究复杂问题AppWorld—— 在数百个应用和操作中完成个人任务tau2-Bench Airline & Retail—— 遵循公司政策处理客服请求tau2-Bench Telecom—— 遵循公司政策处理技术支持
这些都是由研究社区创建并审阅的成熟基准。选择它们并不是因为任何单一基准就能完整刻画通用智能体,而是因为它们结合起来可以测试非常不同的能力:真实代码修改、开放式研究、广阔的动作空间、受规则约束的对话。正是这种组合让评测具有意义。
这些基准最初分别是为了以各自的方式测试单一类型任务而设计的。要让它们协同工作,就必须为它们提供统一结构。我们引入了一套统一协议,为每个基准赋予相同的形式:任务(要做什么)、上下文(需要知道什么)以及动作集合(允许做什么)。
不是让每个智能体去说每个基准自己的语言,而是让它们都说同一种语言。
这种标准化并不简单。每个基准都有各自的假设、指令和交互模式。确保这些…