跳转到内容
主站 新闻 控制台

# 扩散模型杀入 Agent 赛道:350 亿参数,速度比 Jev 快一倍

· 量子位
国内AI

用扩散模型怎么做 Agent?

服了!天天在 AI 一线冲浪,竟然也会跟不上版本。

谁能想到,印象中专门用来生图、生视频的**“扩散模型”**,如今竟然也能写代码、生成网页、调用工具,做起 Agent 了!

就在刚刚,扩散智能发布了全新的扩散语言模型——Clover-35B-A3B-Preview。

虽然名字里多了“扩散”两个字,但实际体验下来,无论是编写代码、操作网页、调用外部工具,还是生成 HTML,其用法都与我们熟悉的大语言模型别无二致。

我个人体验后的第一感受就是一个字:“快”。

比如,让它生成一个太阳系模拟器,Clover 仅思考了约 1 秒,随后的 4~5 秒内,一个支持交互的太阳系模拟器便生成完毕。

Image 3

再比如,我给它提供了一堆非结构化的简历信息,让它整理成 LaTeX 格式的简历代码,仅用十来秒便轻松搞定。

Image 4

用过 GPT 类模型的朋友应该都深有体会:盯着“正在思考”界面漫长等待是怎样的体验。这也解释了为何近期主打快速决策的 Jev 会备受关注。

说到 Jev,Clover 这次还真与它在速度上展开了正面交锋。

在网页 Agent 评测基准 WindTunnel 的 49 项任务中(每项任务尝试 3 次),Clover 的中位执行时间仅为 1.52 秒;而 Jev+Mercury 2.5 组合则需要 3.21 秒,Clover 耗时减少了一半以上。

在任务尝试成功率上,Clover 也略胜一筹,分别达到 98.6% 与 95.9%。

Image 5

若对比同表中的 Gemini,其执行速度更是快出了数倍。

这下扩散模型真要让传统的自回归模型感到压力了。

会做 Agent 任务的扩散模型

回归模型本身,Clover-35B-A3B-Preview 采用了 MoE 架构,总参数量达 350 亿,每个 token 激活约 30 亿参数,并原生支持思考模式。

这一成果将团队的扩散语言模型,从此前的 Dream 7B(70 亿参数)直接推进到了 350 亿参数的全新体量。

更关键的是,在参数规模大幅提升的前提下,Clover 的推理速度并未受阻,在同尺寸对比中全面超越了自回归模型。

Image 6

除了交互页面与基础代码生成外,在官方演示中,Clover 还展示了处理复杂任务、WebUI 生成等多项 Agent 能力。

通过 WebMCP,Clover 能够连续处理六项任务,涵盖开具发票、课程报名、金额汇总、活动状态查询,以及客户与发票信息的调取。

在演示对比中,Clover 不仅顺畅完成任务,还在执行速度上显著领先于 Gemini 3.6 Flash。

在线上购物场景下,Clover 能精准根据指令找到指定款式、黑色、L 码的 T 恤,将其加入购物车,自动填写访客信息,并完整跑通测试结账流程。

这类连续任务的执行稳定性,是本次演示中最具含金量的突破。

以往扩散语言模型虽然具备并行生成带来的速度优势,但在应对 Agent 任务时往往表现不够稳定:不仅容易出现工具调用格式错误,还容易在同一步骤陷入重复尝试,无法根据环境反馈动态调整下一步行动。

Clover 本次的核心进展,正是体现在连续操作的可靠性上:能够稳定调用工具、准确解析反馈、持续推进行动,直至顺利达成目标。

在量化评测(Benchmark)方面,据官方披露的数据,Clover 在工具调用相关的 τ³ Overall 和 BFCL-v4 测试中分别取得了 65.3 和 67.9 的高分,名列前茅。

Image 7

图源:扩散智能

评估完 Agent 任务,再来看代码生成能力。

在此项测试中,Clover 同样用时十几秒,便生成出了一个结构完整、交互良好的个人 Agent 网页界面。

Image 8

在权威代码评测集上,Clover 也交出了一份亮眼的答卷:

在衡量真实代码仓库问题解决能力的 SWE-bench Verified 上斩获 73.6 分;在评估终端任务执行能力的 Terminal-Bench 2.1 上取得 51.7 分。

Image 9

图源:扩散智能

从交互界面生成、工具链调用、端到端业务流打通,再到核心代码评测,作为扩散语言模型的 Clover,确实已经胜任了大量原本属于主流 Agent 的工作。

这自然引出了一个核心问题:印象中专注于去噪、绘图的扩散机制,迁移到语言模型后,究竟是如何生成文本并写出代码的?

扩散语言模型,什么来头?

通常我们熟悉的自回归(Autoregressive,AR)大模型,工作方式是根据前文逐步预测下一个 token,依次递推生成,即行业俗称的“词语接龙”。

这里的 token,可以理解为模型处理语言文本的最小片段。

与自回归模型串行逐词生成的逻辑不同,扩散语言模型采取了截然不同的机制:允许多个位置同步更新,经过若干轮去噪迭代,逐步形成最终文本。

Image 10

图源:AI 生成

语言任务中的扩散去噪,可以理解为将处于遮蔽或随机扰动状态的内容,逐步还原并调整为符合上下文语境的有效词句。

Clover 采用的具体方案是**“块扩散”(Block Diffusion)**:将待生成的内容切分为若干数据块,块与块之间按序递进,块内多个位置则并行计算、双向相互参考。

这种设计让单次推理计算能够同时推动多个位置的生成,有效缓解了传统串行生成带来的时间延迟。

然而,能同时生成并不等同于一轮即可生成理想结果。

扩散模型通常需要经历多轮去噪才能使输出收敛。去噪轮数过少,生成内容可能尚未调整充分;去噪轮数过多,又会导致计算开销急剧攀升。

此外,在面对复杂的代码与 Agent 场景时,上下文窗口会随着交互不断变长。用户的前置要求、已执行的操作指令、工具返回的结果都会直接影响下一步决策,如何高效保存并提取这些历史信息便成为性能瓶颈。

Clover 给出的应对方案,是让“历史记忆读取”与“当前内容生成”各司其职。

该模型围绕块扩散技术重构了门控 Delta 网络(GDN):将已生成的长上下文动态压缩至持续更新的隐状态中,供后续处理快速检索;而当前正在生成的块,则借助双向注意力机制,让块内的各 token 能够相互参考调整。

同时,Clover 将历史记忆的检索作为独立的特征单元,直接接入当前 token 的注意力计算,使模型自主学习如何平衡历史背景与当前生成权重;此外还引入了可学习的块大小校准机制,规避了数据块过大时历史信息被稀释的问题。

这一整套架构调整,旨在实现并行生成速率、历史上下文记忆与计算资源利用效率之间的最佳平衡,也是 Clover 得以将扩散语言模型拓展至高阶代码与 Agent 任务的技术核心。

除 Clover 之外,扩散语言模型近两年在学术界与工业界引发广泛关注,主要归功于其相较于传统自回归模型的两项核心优势:

  1. 并行生成效率:允许多个位置协同生成,有效打破了逐 token 生成的延迟瓶颈。对于需要高频生成代码、多轮工具调用的 Agent 场景,具备巨大的吞吐潜力。
  2. 全局上下文双向协同:在生成过程中,前后文能够双向参考。基于双向建模,多个位置能在迭代去噪中同步调整,为捕捉并解耦深层语义依赖开辟了新路径。

当前,学术界与产业界已在这一技术方向上展开多方探索:

何恺明今年参与发表的 ELF,探索在连续嵌入空间中实现语言生成;谷歌推出了 DiffusionGemma,试验并行文本生成的落地可行性;多家国内科技企业也在积极推进面向代码生成任务的扩散语言模型。

尽管各方技术路径有所差异,但核心目标均是将全新的生成范式转化为可落地的性能优势。Clover 本次发布的意义,正在于直接将技术推向了代码、工具调用与连续任务等实战场景中接受检验。

从 DiffuSeq 到 Clover,扩散智能的下一步

回到 Clover 背后的研发团队——扩散智能。

扩散智能由香港大学孔令鹏教授携博士生龚珊三、叶佳成联合创立。该团队在扩散语言模型领域的研究布局最早可追溯至 2022 年。

彼时,他们提出了 DiffuSeq,率先探索利用扩散机制完成 Seq2Seq 任务:在给定条件文本的基础上,端到端生成目标序列。

Image 11

这一成果当时攻克的核心技术难题,便是如何将原本处理图像等连续数据的扩散算法,有效适配到具有离散特性的自然语言任务中。

2025 年 4 月,团队核心成员联合推出了 Dream 7B,将扩散语言模型的研发参数推进到了 70 亿规模。

Image 12

实验数据显示,Dream 7B 在通用任务、数学推理及代码生成上,均取得了媲美同等规模自回归模型的基准成绩,同时展现了优秀的宏观规划能力与灵活的非因果生成顺序。

到了本次的 Clover,模型规模不仅完成了跨越式扩增,更将重心全面倾斜到了编写代码、API 工具调用以及长流程任务执行上。

整个技术演进路径,也从最初的“如何用扩散模型写出连贯文本”,进化到了“如何把复杂综合任务做得又快又稳”。

团队目前正将该架构向多模态与边缘计算领域延伸:

据官方透露,Clover 后续将上线多模态版本,推动扩散语言模型与视觉理解、实体动作生成的深度结合,并同步开展端侧场景的适配验证。此外,团队正与 Acrab 开展深度合作,针对端侧环境推进软硬件协同设计与底层系统优化。

面向未来,团队计划进一步探索超大参数规模的扩散模型,持续提升其在长程规划任务中的稳定性,同时通过算子推理优化、量化压缩与部署适配,加速端侧实际落地。

回顾 Clover 带来的全新范式,或许我们可以借此重新审视人类的认知机制:

当我们思考时,究竟是像自回归那样一字一句线性推进,还是先构想出一个粗略的全局轮廓,再在脑海中逐步细化打磨——

人类大脑的工作机制,究竟更接近自回归,还是扩散?

体验链接:
[1] https://diffuspace.ai/register