谷歌刚刚将 Harness2 开源。它能将任何 AI harness(运行框架/脚手架)转化为一个能够随时间自我提升的系统。
所谓 Harness,是指围绕模型构建的一切外围组件:系统提示词(system prompt)、工具、记忆、技能以及子智能体(subagent)。通常情况下,由人工进行一次性设计,之后智能体在面对每个新任务时都沿用这套固定的配置。
而在 Harness2 中,智能体自身会针对每个任务来优化 harness。它提出改进方案,运行若干候选版本,并通过对比各版本的实际表现挑选出更优方案。整个过程无需标准答案或评估器(grader),模型权重也无需任何改变。
智能体在一个任务中学到的经验可以迁移到下一个任务。完成一项任务后,它会保存改进后的 harness 和有价值的经验教训,使后续的优化具备更高的起点,而不是从零开始。
谷歌在法律、办公以及专业工作基准测试中,使用 Gemini 3.5 Flash 和 GLM-5 进行了验证。结果显示,哪怕仅进行一轮调整,效果就超越了原始 harness;更多轮次的优化则进一步推高了得分。
GitHub https://github.com/google-research/harness2
热门讨论
CoolConfusion434 (⬆159):套用蟹老板的一句话:我的上下文深处隐隐有种不祥的预感。所有这些“自我优化”总得占用地方,而最终必然会塞进上下文里。我相信对拥有 1M 上下文的云端用户来说不是问题,但我们这些在本地运行模型的玩家可能就要被榨干了。除此之外,很高兴看到又一个开源 harness 出现,尤其是来自谷歌这样的大厂。
FaceDeer (⬆39):它会改变上下文,但不一定会让上下文膨胀。事实上,我认为它的核心任务之一正是剔除其中冗余或不必要的内容。
abhi91 (⬆64):理论上很棒。Poetiq 已经证明这会让基准测试基本失效,因为 harness 可能会针对特定任务产生“过拟合”。不过对于客服这种重复性工作,企业现在用起来会非常出色。
acoolglassofwater (⬆26):有没有大语言模型(LLM)领域的资深专家(别凭空瞎猜)来解释一下这有什么意义?我懂基本概念,但评论区对“自我改进型智能体”的看法向来各执一词。这次发布到底是雷声大雨点小的营销噱头(nothing-burger),还是确实代表了某种有趣且重大的突破?
itsmebenji69 (⬆30):我觉得算中等程度的有趣吧。Harness 确实会限制智能体在任务中的发挥,因此持续修改 harness 让它更适配任务是很有价值的,它打破了这个上限(如果 harness 原先限制了任务表现,经过几轮改进后就不会了)。但显而易见的问题是,对任务 A 的深度适配可能会劣化在任务 B 上的性能。本质上就是过拟合。举个简单的例子:任务 A 是计算 x+y,任务 B 是计算 x 乘以 y。Harness 的第一个版本只提供 x 和 y,而……
Holiday_Point_603 (⬆28):有意思的是,谷歌居然拿半年前的模型来展示他们的新软件,哈哈。
Spara-Extreme (⬆37):谷歌体量极其庞大,做这个项目的团队和研发 Gemini 4 的根本不是同一拨人。
DifficultIndustry148 (⬆42):他们只是想展示这套工具也能兼容自家技术栈之外的模型,没必要过度解读。