谷歌的 AI 代理真的以 916 美元构建了一个操作系统吗?
独立评估的重要性
Sayash Kapoor 和 Arvind Narayanan
2026 年 5 月 22 日
作者:Stephan Rabanser、Sayash Kapoor、Rishi Bommasani、Andrew Schwartz、Arvind Narayanan
就在本周早些时候的谷歌开发者大会上,公司发布了最新模型 Gemini 3.5 Flash,以及一款新的代理应用 Antigravity 2.0。为了展示这套新代理架构的能力,谷歌声称 一组代理构建了一个完整的操作系统。报道称,这项工作只需要一个提示词,API 费用仅约 900 美元,并由几十个协同工作的子代理完成。
这是否意味着复杂软件现在可以由 AI 以低成本构建?先别急:
-
“单一提示词”的说法具有误导性。 博客文章称这个操作系统是由一个提示词构建出来的。但在文章写到一半时,谷歌披露该提示词“最终长达数千行”。生成这个提示词尝试了多少次?给代理的指令有多具体?如果没有这些关键细节,就很难判断其秘诀究竟是更好的模型,还是只是花了更多精力去提示模型。此外,这次运行是在一个脚手架1 上完成的,包含专门角色、向子代理分派任务,以及一个用于检测和防止作弊的代理。在发布文章中,谷歌将这个脚手架视为产品特性。但我们并不知道,这个脚手架是否只是针对“从零构建一个操作系统”这一任务过拟合了,还是在其他复杂软件工程任务上也能表现同样出色。
-
谷歌的说明并未明确什么算作人工干预。 文章提到,开发该操作系统的最终运行“没有来自人类的额外指导或修正”。但它并没有定义这一标准。文章描述了用于终止并重启卡住代理的基础设施。它还提到,之前一次运行中代理似乎作弊了,随后团队加入了反作弊措施并重新执行任务。但它没有将这些预跑实验纳入方法论说明。文章也没有清楚说明:是否有任何代理升级请求给人类处理,最终运行是否需要任何手动重启、审批或修复,以及代理最终成功之前总共重试了多少次。
-
该说明并未报告是否尝试分析代理是从零写代码,还是从互联网上复制了现有代码。 就谷歌而言,博客文章提到玩具操作系统是常见的本科课程项目,公开实现也很容易找到。文章本身也提出了代理可能是在复述信息而非从零构建操作系统的担忧。但它并没有处理这一问题——没有相似度分析或日志分析来检查代理是否复制了已有代码。即便没有直接复制,编写操作系统对代理来说也可能相对容易,因为训练数据中记住了相关模式,因此这并不能说明代理创造_新颖_软件的能力有多强。
-
谷歌没有公开那段冗长的提示词、代理编写的代码或运行日志,因此无法对这些说法进行独立评估。 公开源代码或代理日志本可让独立研究人员评估这些产物的质量,并回答诸如代理是否在复制现有代码之类的问题。博客文章只提供了一段简短视频,记录开发进展的一个快照,以及整个实验的叙述。
另一方面,博客文章确实给出了构建该操作系统的确切费用(916.92 美元),以及总 token 预算(总计 26 亿 tokens)。这些数字提供了有用的背景信息,这一点我们也要肯定谷歌。我们之前调查过的许多评测根本没有披露成本,这使得它们的标题式结论很难与其他评测进行比较。
不过,谷歌的博客文章本质上就是一份新闻稿。我们也承认,要求它在科学上完全严谨并不现实。像这样的评估——也就是对一个长周期现实世界任务进行单次运行评估,并由实验者叙述代理做了什么——如今已经相当常见。由于其中很多都是由 AI 公司自己完成的,因此很容易把整个类型都视为宣传噱头。
但这样做是错误的。我们将这一新兴范式称为 开放世界评估(open-world evaluations),并在最近一篇论文(以及配套博客文章)中讨论了这一趋势。关键在于,我们认为开放世界评估需要一套新的方法学规范。只要做得得当,它们可以提供基于基准测试的评估无法提供的有价值视角。
谷歌的实验确实进一步证明:代理或代理团队能够在某些类型的任务上自主或近乎自主地持续工作很长时间,并且在没有卡住或混乱的情况下取得进展。正如我们在论文中所论证的,对于这类任务,基准测试评估在很多方面实际上是不可能的,其中包括成本因素。因此,现在正是来自学界、非营利组织和政府的独立评估者介入的时候,为开放世界评估提供 AI 厂商自身说法中不太可能具备的严谨性和可信度。
脚手架(scaffold)是围绕 AI 模型构建的一层代码、提示词和工具,用来赋予它自主行动能力,处理诸如记忆、工具调用等事项。