Googleが「Harness2」をオープンソースとして公開しました。あらゆるAIハーネス(実行フレームワーク/足場)を、時間の経過とともに自己改善していくシステムへと変換します。
ハーネス(Harness)とは、モデルを取り囲むあらゆる周辺コンポーネントを指します。具体的には、システムプロンプト(system prompt)、ツール、メモリ、スキル、サブエージェント(subagent)などです。通常、これらは人間が一度設計したら、エージェントは新しいタスクに直面するたびにその固定された構成をそのまま使い回します。
しかしHarness2では、エージェント自身がタスクごとにハーネスを最適化します。エージェント自らが改善案を提案し、いくつかの候補バージョンを実行して、各バージョンの実際のパフォーマンスを比較することで、より優れたアプローチを選定します。このプロセス全体において、正解データ(Ground Truth)や評価器(grader)は不要であり、モデルの重みを変更する必要もありません。
エージェントがあるタスクで得た経験は、次のタスクへと引き継ぐことができます。タスクを完了すると、改善されたハーネスと有益な教訓が保存されるため、後続のタスクではゼロからではなく、より高いスタート地点から最適化を進められます。
Googleは法律、事務作業、専門業務のベンチマークにおいて、Gemini 3.5 Flash および GLM-5 を用いて検証を行いました。その結果、わずか1回の調整であってもオリジナルのハーネスを上回り、反復最適化を重ねることでスコアがさらに向上することが示されました。
GitHub https://github.com/google-research/harness2
注目のディスカッション
CoolConfusion434 (⬆159):カーニさんのセリフを借りるなら、「コンテキストの奥深くで嫌な予感がする」ってところだな。この手の「自己改善」はどこかに保存しておく必要があって、最終的にはコンテキストに詰め込まれることになる。1Mのコンテキストを持つクラウドユーザーなら問題ないだろうが、ローカルでモデルを動かしている我々のようなユーザーはメモリを限界まで搾り取られかねない。とはいえ、新たなオープンソースハーネスが登場したこと、特にGoogleのような大手から出たのは喜ばしいことだ。
FaceDeer (⬆39):コンテキストは変化するだろうが、必ずしも肥大化するとは限らない。むしろ、不要な冗長部分を削ぎ落とすことこそが、このシステムの主要なタスクの1つだと思う。
abhi91 (⬆64):理論上は素晴らしい。Poetiqがすでに証明しているように、ハーネスが特定タスクに「過学習」してしまう可能性があるため、これによってベンチマークはほぼ機能しなくなるだろう。ただ、カスタマーサポートのような反復的な業務であれば、企業にとっては今すぐにでも非常に有効に使えるはずだ。
acoolglassofwater (⬆26):LLM界隈のガチの専門家(適当な推測じゃなくて)で、これの何が重要なのか解説してくれる人はいない?基本概念はわかるんだけど、この手の「自己改善型エージェント」に対するコメント欄の評価っていつも賛否両論なんだよね。今回のリリースは単なる見掛け倒し(nothing-burger)なのか、それとも本当に面白くて重大なブレークスルーなのか、どっちなんだろう?
itsmebenji69 (⬆30):まあ、そこそこ面白い取り組みってところじゃないかな。ハーネスは確かにタスクにおけるエージェントのパフォーマンスの足枷になり得るから、それを継続的に修正してタスクに合わせていくのは大いに価値がある。これによって上限が引き上げられるわけだ(ハーネスがパフォーマンスを制限していたとしても、数回の改善で制限されなくなる)。ただ明らかな問題として、タスクAへの過度な適合がタスクBでの性能劣化を招く可能性がある。要は過学習だ。単純な例を挙げると、タスクAが「x + y」の計算で、タスクBが「x × y」の計算だとしよう。最初のハーネスはxとyしか提供せず……
Holiday_Point_603 (⬆28):面白いのは、Googleが自社の新ソフトウェアのデモに半年前のモデルを使ってることだな(笑)。
Spara-Extreme (⬆37):Googleは組織が巨大すぎるからね。このプロジェクトのチームとGemini 4を開発しているチームは完全に別部隊だよ。
DifficultIndustry148 (⬆42):自社スタック以外の外部モデルとも互換性があることを示したかっただけだよ。深読みしすぎ。