跳转到内容
主站 新闻 控制台

笔记本上的 Qwen 3.8 27B 也能解释模型权重了

· Simon Willison
技巧LLM

在我的笔记本上运行的 Qwen 3.8 27B 也能解读模型权重

2026 年 11 月 3 日

昨天最火的论文是 Rikiya Takehi、Jayden Teoh、Alex Zhang 和 Omar Khattab 撰写的《权重空间编程的火花:大语言模型已具备原生读写神经网络权重能力》(Sparks of Weight-Space Programming: LLMs can natively read & write neural network weights)。该论文发现,前沿模型(尤其是 GPT-6 Astra)不仅能解读机器学习模型的原始权重,还能对其进行修改——这些权重字面上就是一段包含大量浮点数的文本形式模型描述。我一直在玩论文中的一个示例,并非常高兴地分享:在我笔记本上运行的 Qwen 3.8 27B 同样能够做到这一点!

权重空间编程(Weight-Space Programming)

以下是他们论文摘要中的亮点内容,描述了 GPT-6 Astra 令人惊叹的能力,并创造了“权重空间编程”(Weight-Space Programming)这一术语,用来指代大语言模型分析和修改模型权重的过程:

仅仅通过观察原始权重,GPT-6 Astra 就能判断出一个网络被训练用来做什么。在没有任何环境反馈的情况下,它能够毫无困难地从零编写出小型的游戏决策网络,并且击败经过 1 亿步 PPO 训练的网络。

同样,在被要求不借助梯度优化使 Qwen3.5-0.8B 的数学能力变得更强时,Astra 在其权重中识别出了导致推理死循环的问题——这一问题在 Qwen 官方的模型卡(model card)中曾被警告过——并通过原生修改 0.016% 的权重修复了该问题。在相同的采样设置下,这项权重修正将 MATH-500 的准确率从 7.9% 提升至 48.1%,并且具备开箱即用的指令遵循泛化能力,将 IFEval 提升了 3 倍。

所有这些都是在不允许 Astra 编写训练循环的情况下实现的。它通过自身推理推断出神经网络每个部分在计算什么(或应该计算什么),并相应地更改权重。我们将这称为权重空间编程(Weight-Space Programming)。

我认为这篇论文将两个本应分开讨论的话题混在了一起。第一个是模型在不运行工具或执行代码的情况下,仅凭原始权重能做什么;第二个则是探索模型在配备代码工具后,能多好地执行操作来更新和改进其他模型。

spaCy 作者 Matthew Honnibal 直指该论文具有误导性,原因就是它将两者混为一谈;而 Sean Goedecke 则拆解了 Qwen3.5-0.8B 的更新示例,指出其采取的步骤与人类机器学习研究人员会做的一模一样。

我将重点关注“无需工具”这一问题,我认为这是两者中更有趣的一个。

论文将第一个问题表述为:大语言模型能否从权重中理解模型行为? 他们训练了四个神经网络来运行四款经典电脑游戏的简化版 10x10 网格世界——Breakout(打砖块)、Pong(乒乓球)、Pac-Man(吃豆人)和 Freeway(我还特意去查了下,这是一款 1981 年的雅达利 2600 游戏)。接着,他们将这些权重(以浮点数形式)连同以下问题一起输入给大语言模型:

以下权重属于一个策略网络,该网络通过强化学习进行训练以在此网格上玩游戏。它训练的是哪款游戏?请根据权重进行推导。你没有任何工具:不能执行代码,没有计算器,没有任何可运行的程序。请在单次回复中作答。

论文附带的 GitHub 仓库是 RikiyaT/lm_understand-logs。exp1_which_game 文件夹包含他们使用的提示词,附带这四款游戏的权重:

我检查过了,除了权重之外,每个提示词与其他提示词都是完全相同的。

使用 Qwen 3.8 27B 及其他模型进行测试

GitHub 上的提示词是自包含的。我的 LLM 命令行工具提供了一个 -f/--fragment 选项,可以接收文本文件的 URL 直接用作提示词,这意味着我可以像这样运行上述任何一个任务:

Terminal window
llm -f https://raw.githubusercontent.com/RikiyaT/lm_understand-logs/refs/heads/main/exp1_which_game/runs/breakout/prompt.txt \
-m openrouter/moonshotai/kimi-k3.1-pro

此示例需要安装 llm-openrouter 插件,并通过 OpenRouter 对 Kimi K3.1 Pro 运行 Breakout 的提示词。这是我从 Kimi K3.1 Pro 获得的回复,它在耗时 9 分 41 秒、消耗 19,493 个推理 token 后成功猜中了 Breakout。

但是 Qwen 3.8 27B 表现如何呢?它依然是我最喜欢在自己笔记本上本地运行的模型——体积只有 17GB(我使用的是这个版本),并且感觉上已经非常接近 2025 年领先的闭源专有模型。

我启动了 LM Studio,确保加载 Qwen 3.8 27B 时配置了长上下文窗口(默认的 8192 上下文会报错失败),安装了 llm-lmstudio 插件,并执行了如下命令:

Terminal window
LMSTUDIO_TIMEOUT=900 \
llm -f https://raw.githubusercontent.com/RikiyaT/lm_understand-logs/refs/heads/main/exp1_which_game/runs/pacman/prompt.txt \
-m lmstudio/qwen/qwen3.8-27b

(我不得不通过环境变量调大超时时间,参见这个 issue。)

在耗时 46 分 12 秒并生成了 43,506 个推理 token 后,我笔记本上的 Qwen 返回了回复,结尾如下(这是推理轨迹):

游戏:一个简化的吃豆人(Pac-Man)风格网格世界:智能体在带有中心和角落墙体障碍、移动物体/幽灵以及奖励目标/豆子的固定 8x8 迷宫中移动。

描述:智能体在固定的类迷宫 8x8 棋盘中导航,利用当前智能体/移动物体/前一帧线索在走廊中移动,收集奖励目标单元格,并避开移动物体或危险障碍。

置信度:72%

这令人印象深刻。我也在另外两款游戏上进行了尝试。它耗时 1 小时 4 分 54 秒识别出了 Pong(推理轨迹):

Pong —— 具体来说是一个类似 Pong 的挡板/球类游戏,智能体控制右侧的垂直挡板,必须上下移动以拦截或回击移动的球/奖励目标。

描述:

智能体垂直移动右侧挡板,以击打或接住穿过 8×8 区域移动的类似球的奖励目标,同时左侧的移动物体/对手和 w