コンテンツにスキップ
メインサイト ニュース コンソール

[AINews] LLMがニューラルネットの重みを読み書き可能に:「重み空間プログラミング」が自動研究をRSIループから排除

· Latent Space 翻訳済
播客深度访谈

Qwen の重みを編集して推論ループを削減、DeepSeek のスーパーエージェント(super-agent)プロトタイプ、そして GDPx ベンチマーク。

swyx .ai

11 月 3 日 · 読了目安 30 分

AI/テクノロジー業界で深まる弱気相場(ベアマーケット)の影が落ち(数々のブラックユーモアすら飛び交う中)、Anthropic の社債が「ジャンク級」と格付けされ、OpenAI の資金調達を巡るさまざまなニュースが駆け巡る中にあっても、私たちはこのコミュニティで驚くべき能力のブレイクスルーを目の当たりにし続けています。まさに今日がその一例です。

今回の注目すべき論文の背景を理解するには、わずか 8 か月前に Karpathy が提唱した autoresearch を振り返るのが一番でしょう。これは、一夏を通じて人々が抱いた再帰的自己改善(recursive self improvement, RSI)への懸念を予見させるものでした:

Image 4

抽象的なレベルで見れば、このデモは、十分に賢いモデルを採用し、コンピュートクラスタ上で一連の実験を実行することで、人間の専門知識や介入なしにモデルを自律的にトレーニングできることを示していました。しかし、このプロセスは通常かなり煩雑で複雑です。PyTorch/Jax のコードを書き、計算リソースを走らせ、損失曲線(loss curves)を観察し、評価結果を読み解き、カーネル(kernel)やデータを最適化する、といった作業が必要になります……

そこで、先月のポッドキャストゲストである Alex Zhang が共著者として参加し、画期的な発見をもたらしました。もし、賢いモデルに、より小規模でシンプルなモデルの重みを直接読み込ませて編集させたらどうなるでしょうか?

X でポストを見る ↗

機械学習の領域で言えば、これはソースコードを見るのではなく、(ごく小さな)コンパイル済み実行ファイル内のバイナリ(0 と 1)を直接観察し、以下のことができるようになるのと同義です。1)それらが何をするものなのかを判断する、2)失敗した実行トレース(traces)に基づいてワンショットでバグを修正する(oneshot-fix)、あるいは50 ステップのイテレーションを通じて所定の方向へと改善する(これには誇張が含まれる可能性もあります)、3)ゼロからネットワーク全体の重みをワンショットで生成し、独立して学習させた一部のモデルすら上回る。

パラメータ数さえ十分であれば、大規模言語モデル(LLM)はあらゆるものをフィッティング・シミュレートできる(実際、スケールアップに伴い LLM は計算タスクでますます優れたパフォーマンスを示すようになっています)と信じているなら、理論上このような能力の出現は必然と言えます。しかし、その能力が突如として現実のものとなった時の衝撃はやはり計り知れません。まさに[ある独立した再現検証](https://x.co