借助在 Codex 中运行实验的 GPT‑6 Astra,Asana 优化了基于 GPT‑6.1 Sol 的浏览器智能体(browser agent)工作流,使其运行成本降低至原来的 1/76(便宜 76 倍),速度提升 5 倍。
Asana 通过其收购的平台 StackAI,帮助客户在各类业务应用中实现工作自动化。借助 StackAI,客户无需编写代码即可构建能够浏览网页、填写表单和收集信息的工作流。在 Asana 庞大的业务规模下,这些工作流中哪怕微小的低效问题都会被不断放大。
Asana 旗下 StackAI 的首席技术官(CTO)Frank Hidalgo 博士着手让该浏览器智能体运行得更快、成本更低。他指示 Codex 中的 GPT‑6 Astra 对该智能体进行调查分析、测试优化方案并对比结果。据他估计,原本需要人工花费一到两个月的工作,如今仅用大约一周时间就完成了。
Asana 的这项包含 144 次运行的研究对 GPT‑6.1 Sol 以及其他三款前沿模型(在此称为模型 A、B 和 C)进行了测试。基于 GPT‑6.1 Sol 的优化工作流平均每次运行预估模型成本仅为 0.47 美元,耗时约 4 分钟,与最初在模型 B 上的生产环境配置相比,成本降低了 76 倍,速度提升了 5 倍。
“这就是人类与智能体团队在实际应用中的协作形态。工程师设定方向,GPT-6 Astra 运行实验,研究成果则通过 Command 部署到生产环境。这生动展示了 Asana 如何将人机协同团队变为现实。”——Asana 首席产品官(CPO)Arnab Bose
利用 GPT‑6 Astra 找出浏览器智能体的低效症结
为了快速推进,Hidalgo 首先让 Codex 中的 GPT‑6 Astra 梳理代码库,并解释该智能体是如何构建每次模型请求的。GPT‑6 Astra 发现,该智能体缓存了固定的指令和工具定义,但并未缓存不断增长的页面文本与截图历史记录;因此,每次请求都会以全额价格重新发送这些历史数据。
该智能体还几乎在每一步操作中都会丢弃较早的截图并裁剪文本。每一次修改都会改变历史记录,因此单纯缓存历史并不能解决问题,而且丢失这些事实信息可能会迫使智能体重复访问已经浏览过的页面。
借助 GPT‑6 Astra,将原本预计两个月的研究缩减至一周
Hidalgo 审阅了 GPT‑6 Astra 提出的修复建议,并挑选了三项进行测试:
- 将缓存范围扩展至智能体的浏览历史
- 增加其能够保留的文本量
- 批量删除截图,而非每步都删除
GPT‑6 Astra 首先进行了快速测试,以确定哪些变量至关重要。由于原有代码并非针对对照实验而设计,它随后重构了代码,使得一套前端和后端能够并行支持多个工作流,且每个工作流都具备独立的设置。
Astra 执行了完整的对比研究:测试了 12 万和 48 万字符的历史记录预算(history budgets),以及 6 种缓存与截图策略,每种配置在四款模型上各测试 3 次(见下表)。表现最佳的策略允许截图累积到 20 张后,才削减至仅保留最新的一张。这使得早期历史记录在两次清理之间能够保持更长时间的不变状态。结合更大的历史预算,该策略成为了最终的优化工作流。每种配置执行的任务完全相同:从一个公开的演示目录中收集 32 本书中每本书的 6 个字段,这代表了部分 Asana 客户在 StackAI 中的典型应用场景。
| 模型 | 描述 | 价格 |
|---|---|---|
| 模型 A | 来自另一家前沿实验室的更小、更便宜的模型,发布于 2025 年秋季 | GPT‑6.1 Sol 价格的一半 |
| 模型 B | 最初在生产环境中使用的模型,来自与模型 A 相同的实验室,发布于 2026 年夏季 | 与 GPT‑6.1 Sol 价格相同 |
| 模型 C | 模型 B 的更新版本,发布于 2026 年秋季 | 与 GPT‑6.1 Sol 价格相同 |
| GPT‑6.1 Sol | OpenAI 的模型 | 基准价格 |
GPT‑6 Astra 运行了这些工作流,并检查了请求、用量记录和输出结果,同时由独立的模型会话对工作进行审核。每次会话的请求、数据追踪记录和结果都被记录在 Asana 的软件交付平台 Command 中,以便团队在事后审查完整的研究。通过 Command,这些发现被转化为工单(tickets),随后生成 Pull Request,并将改动推送到生产环境。
“如果靠人工完成,这本需要花上一到两个月。但在 Codex 中借助 GPT-6 Astra,只用了大约一周:我可以在睡前设定一个目标(/goal),第二天早上起来查看结果。”——Asana 旗下 StackAI CTO Frank Hidalgo 博士
将每次运行的模型成本降至 0.50 美元以下
对于模型 B 而言,该优化将预估模型成本从至少 36.21 美元(部分最初的运行在完成之前就达到了步数上限)降至每次运行 1.24 美元,降低了 29 倍。在 GPT‑6.1 Sol 上优化后的工作流成本更低,仅为 0.47 美元,又降低了 2.6 倍。优化工作流中的每次运行都成功完成了任务并返回了正确答案。
3 次运行的平均值。≥:基准线包含达到上限的运行,因此其平均值是下限。
右侧两栏对比了模型 B 的优化结果。在同一研究中,模型 B 于第 1 阶段运行,模型 C 和 Sol 6.1 于第 2 阶段运行(虚线)。
单在 GPT‑6.1 Sol 上,配合更大的历史记录预算,新的缓存和截图策略使成本降低了 4 倍,从每次运行 1.97 美元降至 0.47 美元。由于 89% 的输入来自缓存(缓存命中费用仅为未缓存价格的 5%),每次调用的成本降低了约 3 倍。运行速度也显著加快:模型 B 上的原始配置至少需要 22.5 分钟,而在 GPT‑6.1 Sol 上的优化工作流中仅需约 4 分钟。
3 次运行的平均值,误差线为标准差(SD whiskers)。≥:平均值包含达到上限或未完成的运行,因此真实值至少与该数值相当。
柱状图采用蓝色主题。缓存效果请参考 48 万较大预算的柱状图。
运行标记和标准差误差线是根据源图像近似重构的;无法获取底层运行数值和标准差。
3 次运行的平均值,误差线为标准差(SD whiskers)。≥:平均值包含达到上限或未完成的运行,因此真实值至少与该数值相当。
柱状图采用蓝色主题。缓存效果请参考 48 万较大预算的柱状图。
运行标记和标准差误差线是根据源图像近似重构的;无法获取底层运行数值和标准差。
该研究还揭示了历史记录管理如何直接影响智能体是否能够给出答案。为 GPT‑6.1 Sol 提供更多空间以保留其浏览历史,使得成功给出答案的运行次数大幅增加:在较小的历史预算下,18 次运行中仅有 3 次给出答案;而在较大的预算下,18 次运行全部给出了正确答案。对 Hidalgo 而言,其商业价值在于既能让客户使用速度更快、能力更强的模型,又能保持运营成本的可持续性。
“过去,成本限制了我们能为客户的这类工作负载提供哪些模型。通过提高智能体的效率,我们可以在降低运营成本的同时,为客户提供更优质、更快速的模型。”——Asana 旗下 StackAI CTO Frank Hidalgo 博士
扩大实验与产品测试规模
Asana 已经发布了 StackAI 中关于浏览器导航的这些改进,并正在开发相关工具,以便更轻松地复现类似的实验。随着时间的推移,团队计划将此类测试纳入该平台的评估体系(evals)中,以便客户和内部团队在配置智能体时能够对比成本、运行时间和回答质量。
“交付速度不再是瓶颈,人类的注意力才是。我们正无限接近这样一个世界:每位工程师都是一名带领着智能体舰队的产品经理(PM)。”——Asana 旗下 StackAI CTO Frank Hidalgo 博士
Asana 目前正利用 Codex 中的 GPT‑6 Astra 在产品功能发布前进行测试:Astra 会在平台上进行交互操作、尝试不同的输入,并向人工 QA 审核人员报告 Bug。Hidalgo 认为这是全新软件开发生命周期的基石,未来将由多个云端智能体并行测试各项功能。