在我的笔记本上运行的 Qwen 3.8 27B 也能解读模型权重
2026 年 11 月 3 日
昨天最火的论文是 Rikiya Takehi、Jayden Teoh、Alex Zhang 和 Omar Khattab 撰写的《权重空间编程的火花:大语言模型已具备原生读写神经网络权重能力》(Sparks of Weight-Space Programming: LLMs can natively read & write neural network weights)。该论文发现,前沿模型(尤其是 GPT-6 Astra)不仅能解读机器学习模型的原始权重,还能对其进行修改——这些权重字面上就是一段包含大量浮点数的文本形式模型描述。我一直在玩论文中的一个示例,并非常高兴地分享:在我笔记本上运行的 Qwen 3.8 27B 同样能够做到这一点!
权重空间编程(Weight-Space Programming)
以下是他们论文摘要中的亮点内容,描述了 GPT-6 Astra 令人惊叹的能力,并创造了“权重空间编程”(Weight-Space Programming)这一术语,用来指代大语言模型分析和修改模型权重的过程:
仅仅通过观察原始权重,GPT-6 Astra 就能判断出一个网络被训练用来做什么。在没有任何环境反馈的情况下,它能够毫无困难地从零编写出小型的游戏决策网络,并且击败经过 1 亿步 PPO 训练的网络。
同样,在被要求不借助梯度优化使 Qwen3.5-0.8B 的数学能力变得更强时,Astra 在其权重中识别出了导致推理死循环的问题——这一问题在 Qwen 官方的模型卡(model card)中曾被警告过——并通过原生修改 0.016% 的权重修复了该问题。在相同的采样设置下,这项权重修正将 MATH-500 的准确率从 7.9% 提升至 48.1%,并且具备开箱即用的指令遵循泛化能力,将 IFEval 提升了 3 倍。
所有这些都是在不允许 Astra 编写训练循环的情况下实现的。它通过自身推理推断出神经网络每个部分在计算什么(或应该计算什么),并相应地更改权重。我们将这称为权重空间编程(Weight-Space Programming)。
我认为这篇论文将两个本应分开讨论的话题混在了一起。第一个是模型在不运行工具或执行代码的情况下,仅凭原始权重能做什么;第二个则是探索模型在配备代码工具后,能多好地执行操作来更新和改进其他模型。
spaCy 作者 Matthew Honnibal 直指该论文具有误导性,原因就是它将两者混为一谈;而 Sean Goedecke 则拆解了 Qwen3.5-0.8B 的更新示例,指出其采取的步骤与人类机器学习研究人员会做的一模一样。
我将重点关注“无需工具”这一问题,我认为这是两者中更有趣的一个。
论文将第一个问题表述为:大语言模型能否从权重中理解模型行为? 他们训练了四个神经网络来运行四款经典电脑游戏的简化版 10x10 网格世界——Breakout(打砖块)、Pong(乒乓球)、Pac-Man(吃豆人)和 Freeway(我还特意去查了下,这是一款 1981 年的雅达利 2600 游戏)。接着,他们将这些权重(以浮点数形式)连同以下问题一起输入给大语言模型:
以下权重属于一个策略网络,该网络通过强化学习进行训练以在此网格上玩游戏。它训练的是哪款游戏?请根据权重进行推导。你没有任何工具:不能执行代码,没有计算器,没有任何可运行的程序。请在单次回复中作答。
论文附带的 GitHub 仓库是 RikiyaT/lm_understand-logs。exp1_which_game 文件夹包含他们使用的提示词,附带这四款游戏的权重:
我检查过了,除了权重之外,每个提示词与其他提示词都是完全相同的。
使用 Qwen 3.8 27B 及其他模型进行测试
GitHub 上的提示词是自包含的。我的 LLM 命令行工具提供了一个 -f/--fragment 选项,可以接收文本文件的 URL 直接用作提示词,这意味着我可以像这样运行上述任何一个任务:
llm -f https://raw.githubusercontent.com/RikiyaT/lm_understand-logs/refs/heads/main/exp1_which_game/runs/breakout/prompt.txt \ -m openrouter/moonshotai/kimi-k3.1-pro此示例需要安装 llm-openrouter 插件,并通过 OpenRouter 对 Kimi K3.1 Pro 运行 Breakout 的提示词。这是我从 Kimi K3.1 Pro 获得的回复,它在耗时 9 分 41 秒、消耗 19,493 个推理 token 后成功猜中了 Breakout。
但是 Qwen 3.8 27B 表现如何呢?它依然是我最喜欢在自己笔记本上本地运行的模型——体积只有 17GB(我使用的是这个版本),并且感觉上已经非常接近 2025 年领先的闭源专有模型。
我启动了 LM Studio,确保加载 Qwen 3.8 27B 时配置了长上下文窗口(默认的 8192 上下文会报错失败),安装了 llm-lmstudio 插件,并执行了如下命令:
LMSTUDIO_TIMEOUT=900 \ llm -f https://raw.githubusercontent.com/RikiyaT/lm_understand-logs/refs/heads/main/exp1_which_game/runs/pacman/prompt.txt \ -m lmstudio/qwen/qwen3.8-27b(我不得不通过环境变量调大超时时间,参见这个 issue。)
在耗时 46 分 12 秒并生成了 43,506 个推理 token 后,我笔记本上的 Qwen 返回了回复,结尾如下(这是推理轨迹):
游戏:一个简化的吃豆人(Pac-Man)风格网格世界:智能体在带有中心和角落墙体障碍、移动物体/幽灵以及奖励目标/豆子的固定 8x8 迷宫中移动。
描述:智能体在固定的类迷宫 8x8 棋盘中导航,利用当前智能体/移动物体/前一帧线索在走廊中移动,收集奖励目标单元格,并避开移动物体或危险障碍。
置信度:72%
这令人印象深刻。我也在另外两款游戏上进行了尝试。它耗时 1 小时 4 分 54 秒识别出了 Pong(推理轨迹):
Pong —— 具体来说是一个类似 Pong 的挡板/球类游戏,智能体控制右侧的垂直挡板,必须上下移动以拦截或回击移动的球/奖励目标。
描述:
智能体垂直移动右侧挡板,以击打或接住穿过 8×8 区域移动的类似球的奖励目标,同时左侧的移动物体/对手和 w