spaCy 開発者が長文で批判:Astra は小型モデルの重みを修正したのか?MITの話題の研究に業界から公然と疑問の声
Jay 凹非寺より
Astra は小型モデルの重みを修正したのか?MIT による話題の研究に対し、業界の重鎮から公然と疑問が投げかけられました。
先日、Astra はある驚異的な能力によって AI 界隈で大きな話題となりました——トレーニング不要、勾配計算なしで、別の AI モデルの重みを直接書き換えるというものです。
MIT チームの発表によると、Astra は Qwen3.5-0.8B モデルの重みのわずか 0.016% を書き換えるだけで、その数学ベンチマークスコアを 7.9% から 48.1% へと急上昇させ、元の 6 倍以上に引き上げたといいます。
ネット上では「AI がついに別の AI の『脳内』を読み解き始めた」と感嘆する声まで上がっていました。
しかし、事態はすぐに一変します。
業界のベテラン開発者が公開記事を投稿し、極めて深刻な疑問を呈したのです。
この研究には重大な誤導が含まれている。

疑問を投げかけたのは、自然言語処理ライブラリ spaCy の開発者であり、AI 企業 Explosion の共同創業者でもある Matthew Honnibal 氏です。
マジシャンの手品
一体その舞台裏では何が起きていたのでしょうか?
Honnibal 氏は、MIT の研究チームが用いた「目眩まし」の手法を、見事な比喩を使って皮肉っています。
ステージマジシャンは、同じ手品を披露する際に複数の異なるタネを使うことがよくあります。
ある回では特殊な小道具を使い、次の回では小道具に仕掛けがないことを見せつつ、密かに別の場所に隠しておく。そして3回目には、心理誘導を用いたフォースト・チョイス(強制選択)を利用する、といった具合です。
観客は「タネは1つしかない」と思い込んで見ているため、マジシャンが演じるたびに、その仕組みに対する観客の仮説は覆されていくように見えます。
Honnibal 氏は、Astra の研究論文における実験の見せ方が、まさにこうした綿密に仕組まれた手品に酷似していると指摘します。
論文自体に立ち返ると、実際には以下の3つの全く異なる能力が示されています。
- 重みの読み取り(Read):生の重み数値(raw weights)を見るだけで、その小さなニューラルネットワークがどのようなタスクを実行しているかを特定する。
- 重みの書き込み(Write):環境からのフィードバックに依存せず、ゼロから小型ネットワークのパラメータを直接生成または修正し、「ブロック崩し」などのミニゲームをプレイできるようにする。
- 大規模モデルの修復:Qwen の一部の重みを修正することで、その数学テストのスコアを大幅に向上させる。
しかし、論文のアブストラクトが読者に与える全体的な印象は、「Astra は『生の重みを観察するだけ』で、別のモデルを理解し、修正できる」というものでした。
ざっと目を通しただけでは、小型ネットワークの機能特定も、大規模言語モデルの数学能力の修復も、すべて同じ「脳の読み取り」という神がかり的な単一技術によって実現されたものだと誤認してしまいがちです。
ですが、それは事実なのでしょうか?
Honnibal 氏が論文内の8つの実験を精査したところ、これら3つのタスクを実現している実験条件には、天と地ほどの開きがあることが判明しました。
端的に言えば、完全に「概念のすり替え」が行われていたのです。
2つの異なる技術的アプローチ
では、それぞれの実験の間には、どのような違いが隠されていたのでしょうか?
まず、「小型ネットワークのタスク特定」や「スタックしたレーシングカーモデルの修復」といった実験においては、Astra は確かに「生の重みを見るだけ」のアプローチを実行していました。
これらの実験では、極めて厳格な条件が設定されていたためです。
- 重みの浮動小数点数(raw floats)を直接入力として、Astra のコンテキストウィンドウに渡す。
- Astra による Python コードの実行を禁止する。
- 対象ネットワークを実行して実際の挙動を観察することを禁止する。
この厳格な制約のもとで Astra が扱ったモデルのパラメータ規模は、わずか 1.7万〜17.2万 に過ぎませんでした。これは技術的探求としては素晴らしい成果ですが、現代の大規模言語モデルを真に理解することとは、依然として遥かにかけ離れています。

しかし、最も注目を集め、最大のセンセーションを巻き起こした「Qwen の数学能力修復実験」になると、状況は一変します。
8億パラメータを持つ Qwen モデルを修復する際、Astra は生の重みを直接読み取ってはいません。
その代わりに Astra に与えられたのは、Python コードを記述・実行する権限と、最大50回までのフォワードテストの実行環境でした。モデルに一連の練習問題を解かせ、その具体的な挙動を観察した上で、重みの分析と調整を行っていたのです。
この両者は、技術的実装の観点から見れば全くの別物です。
Honnibal 氏は、この2つの全く異なる技術手法を混同させることで、「小規模モデルで実証された『脳の読み取り術』が、そのまま8億パラメータの大規模モデルにもシームレスに適用できる」かのような誤解を読者に抱かせていると痛烈に批判しました。
実際のところ、真の大規模言語モデルを前にした Astra は、むしろ「外部のコーチ」のように振る舞っており、プログラミング、実行、観察といった一連の外部エンジニアリング手段を駆使して介入を行っていたに過ぎません。
真の価値
では、これは MIT の研究に何の価値もないということを意味するのでしょうか?
決してそうではありません。
「読心術」のような過剰な脚色を取り払ったとしても、Astra が示した能力自体は依然として目覚ましいものです。
プロンプトによる指示のもと、従来は人間の機械学習エンジニアしかこなせなかったようなタスク——ネットワークの重みを分析し、直接修正するためのコードスニペットを書くこと——を AI モデル自らが考案し完遂できるようになったこと自体、極めて大きな技術的前進であると Honnibal 氏も認めています。
1〜2年前の AI モデルであれば、これらのタスクはいずれも完全に失敗していたはずです。
この結果は、現代のトップクラスの大規模モデルが、他のモデルを診断・修復する「AI エンジニア」としての役割を果たせるほど、高度なツール利用能力と複雑な推論能力を備えつつあることを示しています。これは、それ自体として評価されるべきエンジニアリング上のブレークスルーです。
真の問題は、その成果の見せ方にありました。2つの根本的に異なる技術的アプローチを曖昧にぼかし、あたかも AI の「脳」を直接読み書きできる統合された「超能力」であるかのように仕立て上げてしまった点です。
これは、現在の AI 業界に蔓延しているハイプ(過度なマーケティング)の風潮を如実に映し出していると言えるでしょう。