ノートPC上で動く Qwen 3.8 27B もモデルの重みを解読できる
2026年11月3日
昨日最も話題になった論文は、Rikiya Takehi、Jayden Teoh、Alex Zhang、Omar Khattab による『Sparks of Weight-Space Programming: LLMs can natively read & write neural network weights(重み空間プログラミングの兆し:LLMはニューラルネットワークの重みをネイティブに読み書きできる)』だ。この論文では、フロンティアモデル(特に GPT-6 Astra)が機械学習モデルの生の重み(raw weights)を解読するだけでなく、それを改変できること――文字通り、大量の浮動小数点数を含むテキスト形式のモデル記述を扱えること――を発見している。私は論文に出てくる例を色々と試していたのだが、私のノートPC上で動いている Qwen 3.8 27B でも全く同じことができると分かって非常に嬉しく思っている!
重み空間プログラミング(Weight-Space Programming)
以下は論文のアブストラクトからのハイライトだ。GPT-6 Astra の驚くべき能力を描写し、LLM がモデルの重みを分析・修正するプロセスを指す言葉として「重み空間プログラミング(Weight-Space Programming)」という用語を提唱している。
素の重みを観察するだけで、GPT-6 Astra はそのネットワークが何のために訓練されたのかを判断できる。環境からのフィードバックが一切ない状態でも、何の問題もなくゼロから小規模なゲーム決定ネットワークを記述し、1億ステップの PPO で訓練されたネットワークを打ち負かすことができた。
同様に、勾配最適化を用いずに Qwen3.5-0.8B の数学能力を高めるよう求められた際、Astra は Qwen 公式のモデルカード(model card)でも警告されていた推論の無限ループを引き起こす問題をその重みの中から特定し、重みの 0.016% を直接修正することでその問題を解決した。同一のサンプリング設定において、この重み修正により MATH-500 の精度は 7.9% から 48.1% へと向上し、追加の調整なしで指示追従の汎化性能も発揮して IFEval を3倍に向上させた。
これらはすべて、Astra に訓練ループの記述を許可しない状況で達成されたものである。モデルは自身の推論を通じてニューラルネットワークの各部が何を計算しているのか(あるいは何を計算すべきなのか)を推定し、それに応じて重みを書き換えた。我々はこれを**重み空間プログラミング(Weight-Space Programming)**と呼んでいる。
私は、この論文が本来分けるべき2つのトピックを混同していると考えている。1つ目は、モデルがツールの実行やコードの実行を伴わずに、素の重みだけで何ができるかという点。2つ目は、コード実行ツールを与えられたモデルが、他のモデルを更新・改善する操作をどれだけうまく実行できるかを探る点だ。
spaCy の作者である Matthew Honnibal は、この2つをごちゃ混ぜにしているという理由でこの論文が誤解を招くものだと批判しており、Sean Goedecke は Qwen3.5-0.8B の更新例を分析し、そこで取られている手順が人間の機械学習研究者が行うものと完全に一致していると指摘している。
私は、より興味深いと感じる「ツールなし」の問いに焦点を当てることにする。
論文では1つ目の問いを「LLMは重みからモデルの振る舞いを理解できるのか?」と定義している。著者らは、4つの古典的コンピュータゲームを簡略化した 10x10 グリッドワールドで動作するニューラルネットワークを4つ訓練した。ゲームは Breakout(ブロック崩し)、Pong、Pac-Man(パックマン)、そして Freeway(調べてみたところ、1981年の Atari 2600 用ゲームだった)の4本だ。そして、これらの重みを(浮動小数点数の形で)次のプロンプトととも LLM に入力した。
以下权重属于一个策略网络,该网络通过强化学习进行训练以在此网格上玩游戏。它训练的是哪款游戏?请根据权重进行推导。你没有任何工具:不能执行代码,没有计算器,没有任何可运行的程序。请在单次回复中作答。
論文に付随する GitHub リポジトリは RikiyaT/lm_understand-logs だ。exp1_which_game フォルダには、これら4つのゲームの重みを含んだプロンプトが格納されている。
確認してみたが、重み部分を除けば各プロンプトはすべて完全に同一だった。
Qwen 3.8 27B および他のモデルでのテスト
GitHub 上のプロンプトは自己完結している。私の LLM コマンドラインツールには、テキストファイルの URL を直接プロンプトとして渡せる -f/--fragment オプションがあるため、上記タスクのどれでも次のように実行できる。
llm -f https://raw.githubusercontent.com/RikiyaT/lm_understand-logs/refs/heads/main/exp1_which_game/runs/breakout/prompt.txt \ -m openrouter/moonshotai/kimi-k3.1-proこの例では llm-openrouter プラグイン のインストールが必要で、OpenRouter 経由で Kimi K3.1 Pro に対して Breakout のプロンプトを実行している。これが Kimi K3.1 Pro から得られた回答 で、9分41秒をかけ、19,493 推論トークンを消費した末に見事 Breakout を言い当てた。
しかし、Qwen 3.8 27B の実力はどうだろうか? これは今でも私がノートPCでローカル実行するのに最も気に入っているモデルだ。サイズはわずか 17GB(私はこのバージョンを使用している)でありながら、感覚的には2025年のトップクラスのプロプライエタリモデルに極めて迫っている。
私は LM Studio を起動し、Qwen 3.8 27B を長めのコンテキストウィンドウで読み込むよう設定したうえで(デフォルトの 8192 コンテキストではエラー終了してしまう)、llm-lmstudio プラグインをインストールして以下のコマンドを実行した。
LMSTUDIO_TIMEOUT=900 \ llm -f https://raw.githubusercontent.com/RikiyaT/lm_understand-logs/refs/heads/main/exp1_which_game/runs/pacman/prompt.txt \ -m lmstudio/qwen/qwen3.8-27b(環境変数でタイムアウトを延ばす必要があった。こちらの Issue を参照。)
46分12秒を要し、43,506 推論トークンを生成した後、ノートPC上の Qwen から回答が返ってきた。末尾は以下のようになっている(こちらは思考プロセス):
ゲーム:簡略化されたパックマン(Pac-Man)風のグリッドワールド。エージェントは、中央や四隅の壁の障害物、動くオブジェクト/ゴースト、そして報酬ターゲット/ドットが配置された固定の 8x8 迷路内を移動する。
説明:エージェントは固定された迷路状の 8x8 ボード内を探索し、現在のエージェント/動くオブジェクト/前フレームの手がかりを利用して通路を進み、報酬ターゲットのセルを回収しつつ、動くオブジェクトや危険な障害物を回避する。
確信度:72%
これは実に見事だ。私は他の2つのゲームでも試してみた。1時間4分54秒かけて Pong を特定した(思考プロセス):
Pong ―― 具体的には Pong に類似したパドル/ボールゲームで、エージェントは右側の垂直パドルを操作し、動くボール/報酬ターゲットをインターセプトまたは打ち返すために上下に移動する必要がある。
説明:
エージェントは右側のパドルを上下に動かし、8×8 エリアを横切るボール状の報酬ターゲットを打つかキャッチする。同時に左側の動くオブジェクト/対戦相手と w