跳转到内容
主站 新闻 控制台

MIT 明星项目 Astra 翻车:被指套壳 Qwen 权重夸大宣传

· 量子位
国内AI

spaCy 作者长文炮轰:Astra 修改小模型权重?MIT 爆火研究遭业内公开质疑

Jay 发自 凹非寺

Astra 修改小模型权重?MIT 那篇爆火研究,被圈内大佬公开质疑了。

前两天,Astra 凭借一项惊人能力刷屏 AI 圈——无需训练、不计算梯度,直接修改另一个 AI 模型的权重。

MIT 团队宣称,Astra 仅通过修改 Qwen3.5-0.8B 模型中 0.016% 的权重,就使其数学评测得分从 7.9% 暴涨至 48.1%,提升至原先的 6 倍以上。

甚至有网友感叹:AI 已经开始读懂另一个 AI 的“大脑”了。

然而,事情很快迎来了反转。

一位资深圈内从业者公开发文,提出了严肃质疑:

这项研究存在严重误导。

Image 3

提出质疑的正是 spaCy 作者、AI 公司 Explosion 联合创始人 Matthew Honnibal。

魔术师戏法

这背后究竟发生了什么?

Honnibal 用了一个精妙的比喻,讽刺了 MIT 研究所采用的“障眼法”:

舞台魔术师常常用多种手法来表演同一个戏法。

第一次,他可能用了一个特殊道具;下一次,他向你展示道具并无异常,却暗中把东西藏了起来;第三次,可能又借助了某种心理诱导的强制选择。

当你观看表演时,往往会默认背后只有一种手法,因此魔术师每演一次,似乎都在推翻你对其运作机制的假设。

Honnibal 认为,Astra 这项研究的实验呈现方式,酷似这样一场精心编排的魔术。

回到论文本身,原文实际展示了三项截然不同的能力:

  1. 读权重:仅凭原始权重数值,就能识别一个小型神经网络正在执行何种任务。
  2. 写权重:在不依赖环境反馈的前提下,从零直接生成或修改小型网络参数,使其学会玩《打砖块》等小游戏。
  3. 修复大模型:通过修改 Qwen 的部分权重,大幅提升其数学测试表现。

然而,论文摘要给读者留下的核心印象却是——Astra“仅通过观察原始权重”,就能理解并修改另一个模型。

若只是粗略浏览,极易让人误以为:无论是识别小型网络的功能,还是修复大语言模型的数学能力,都源自同一种“读脑”神技。

但这符合事实吗?

Honnibal 仔细梳理了论文中的 8 组实验后发现:实现这三项任务的实验条件,存在天壤之别。

换句话说,这完全是在偷换概念。

两种技术路径

那么不同实验之间,到底存在怎样的玄机?

首先,在“识别小型网络任务”以及“修复卡住的赛车模型”等实验中,Astra 确实做到了“只看原始权重”。

因为这些实验设定的条件极为严苛:

  • 直接将权重浮点数(raw floats)作为输入,传入 Astra 的上下文窗口;
  • 禁止 Astra 运行 Python 代码;
  • 禁止 Astra 执行目标网络以观察其实际运行行为。

在这种严苛模式下,Astra 处理的模型参数规模非常小,仅在 1.7 万到 17.2 万 之间。这固然是一项了不起的技术探索,但距离真正理解现代大语言模型,仍有相当遥远的距离。

Image 4

然而,到了最引人注目、也最具轰动效应的 Qwen 数学能力修复实验,情况却截然不同。

在修复拥有 8 亿参数的 Qwen 模型时,Astra 并未直接读取原始权重。

取而代之的是,Astra 获得了编写并运行 Python 代码的权限,且最多可进行 50 次前向测试。它允许模型处理一批练习题,通过观察模型的具体表现来分析并调整权重。

这两者在技术实现上完全是两码事。

Honnibal 一针见血地指出,将这两种截然不同的技术方案混为一谈,很容易误导读者产生一种假象:以为在小模型上验证的“读脑术”,同样可以直接无缝扩展应用到 8 亿参数的大模型上。

但事实表明,在面对真正的大语言模型时,Astra 更像是一个“场外教练”,需要借助编程、执行、观测等一系列外部工程手段来进行介入。

真正的价值

那么,这是否意味着 MIT 的这项研究毫无价值?

当然不是。

必须承认,即使褪去“读心术”的光环,Astra 所展现出的能力依然令人惊艳。

Honnibal 也坦言,让一个 AI 模型在 Prompt 引导下,去构思并完成以往只有人类机器学习工程师才能胜任的任务——编写代码片段以分析乃至直接修改网络权重——这本身就是一个巨大的技术进步。

一两年前的 AI 模型,在所有这些任务上都会铩羽而归。

这表明,当今的顶尖大模型已经具备了相当成熟的工具调用与复杂推理能力,足以充当“AI 工程师”的角色去诊断并修复其他模型。这本身就是一项值得肯定的工程突破。

真正的问题在于成果的呈现方式:将两种截然不同的技术路径,模糊化地包装成一种统一的、能够直接读写 AI 大脑的“超能力”。

这也从侧面反映了当下 AI 行业普遍存在的过度营销(Hype)风气。

原文:https://honnibal.dev/blog/astra-read-write-misleading