作者：Stephan Rabanser、Sayash Kapoor、Rishi Bommasani、Andrew Schwartz、Arvind Narayanan
在谷歌本周早些时候举行的开发者大会上，公司发布了最新模型 Gemini 3.5 Flash，以及一款新的智能体应用 Antigravity 2.0。为了展示这套新智能体系统的能力，谷歌声称，一组智能体已经构建出了一整个操作系统。据称，这项工作只需要一个提示词，API 费用仅约 900 美元，并且由数十个子智能体协同完成。
这是否意味着复杂软件现在也能由 AI 低成本构建了？别急：
“单一提示词”的说法具有误导性。 博客文章称，这个操作系统是由一个提示词构建出来的。但在文章写到一半时，谷歌透露这个提示词“最终长达数千行”。生成这个提示词花了多少次尝试？发给智能体的指令有多具体？如果没有这些关键细节，就很难判断真正的“秘诀”究竟是更好的模型，还是只是投入了更多精力去提示模型。此外，这次运行是在一个脚手架1上进行的，其中包含专门角色、对子智能体的分派，以及一个用于检测和防止作弊的智能体。在发布文章中，谷歌把这个脚手架视为产品特性。但我们不知道，这个脚手架是否对“从零构建操作系统”这一任务过拟合，或者它在其他复杂软件工程任务上是否也能表现同样出色。
谷歌的说明并未明确说明哪些情况算作人工干预。 文章提到，开发该操作系统的最终运行没有“来自人类的额外指导或纠正”。但它并没有定义这一标准。文章描述了用于终止并重启卡住智能体的基础设施。它还提到先前有一次运行中，智能体似乎在作弊，之后团队加入了反作弊措施并重新执行了任务。但文章并未把这些试运行作为方法论的一部分来报告。它也没有清楚说明，是否有任何智能体需要向人类升级处理，最终运行是否需要任何手动重启、批准或修复，或者智能体成功之前经历了多少次重试。
这篇说明并未报告任何尝试来分析智能体写出的代码究竟是从头编写，还是从互联网上复制了现成代码。 就谷歌而言，博客文章确实指出，玩具操作系统是本科课程里很常见的项目，而且公开实现很容易找到。文章本身也提出了一个担忧，即智能体可能只是复述已有信息，而不是从头构建操作系统。但它并没有回应这一担忧——没有做相似性分析，也没有做日志分析来检查智能体是否复制了现有代码。即便不存在直接复制，考虑到训练数据中可能记忆了相关模式，编写一个操作系统对智能体来说也许并不太难，因此这并不能说明智能体创建新颖软件的能力有多强。
谷歌没有公开那段冗长的提示词、智能体编写的代码，或运行日志，这使得外界无法独立评估这些说法。 如果公开源代码或智能体日志，独立研究人员本可以评估这些产物的质量，并回答诸如智能体是否在复制已有代码之类的问题。博客文章只提供了一段简短视频，记录了开发进展的一个快照，以及实验的整体叙述。
另一方面，博客文章确实给出了构建该操作系统的准确美元金额（916.92 美元），以及总 token 预算（总计 26 亿个 token）。这些数字提供了有用的背景信息，这一点值得肯定谷歌。我们之前梳理过的许多评测甚至完全没有披露成本，因此它们的标题式结论很难与其他评测进行比较。
尽管如此，谷歌的博客文章本质上仍是一份新闻稿。我们也认识到，要求它达到科学研究般的严谨性并不现实。这类评测——也就是在单次运行中对一个长周期现实任务进行评估，由实验者叙述智能体做了什么——已经变得很常见。由于其中很多都是由 AI 公司自己完成的，把整个这一类内容都当作夸大宣传而一概否定，很容易理解。
但那样做是错误的。我们把这种新兴范式称为开放世界评测（open-world evaluations），并在最近的一篇论文（以及配套的博客文章）中识别了这一趋势。关键在于，我们认为开放世界评测需要一套新的方法论规范。若执行得当，它们可以提供一种基于基准测试的评估所无法提供的宝贵视角。
谷歌的实验确实进一步积累了证据，表明智能体或智能体团队能够自主或近乎自主地长时间处理某些类型的任务，在不陷入停滞或混乱的情况下持续取得进展。正如我们在论文中所论证的，对于这类任务，基准测试评估在很多方面实际上是不可行的，包括成本在内。因此，现在正是学界、非营利组织和政府中的独立评估者出手，为开放世界评测提供严谨性与可信度的激动人心的时刻，而这些品质在 AI 供应商自己的说法中往往难以找到。
脚手架（scaffold）是围绕 AI 模型构建的一层代码、提示词和工具，用来赋予它自主行动的能力，处理记忆、工具访问以及与环境交互等事项。例如，Claude Code 就是让 Anthropic 的 Claude 模型能够作为编程智能体行动的脚手架。