跳转到内容
主站 新闻 控制台

登顶三大基准!优必选Thinker-WM:统一多模态表征,单模型兼备六大能力

· 量子位
国内AI

优必选 Thinker-WM 在三大公认具身世界模型基准评测中全部拿下第一名

01 三大基准全榜登顶,Thinker-WM 斩获三项第一

日前,优必选 Thinker-WM 在三大公认具身世界模型基准评测中全部斩获第一名,刷新行业成绩:

WorldOlympiad:

Thinker-WM 以综合得分 0.740 位列榜首。该基准基于海量真实机器人交互数据构建,覆盖十余种不同机器人本体与多类相机配置,重点考核模型的跨形态、跨视角泛化能力。在具体评测中,该模型取得 3D 一致性 0.531、交互保真度 0.765,两项单项指标均居全部参评模型首位,体现了模型对三维几何结构与机器人交互过程的精准建模能力。

Image 3

EWMBench:

Thinker-WM 取得综合总分 4.66,超越 Qwen-RobotWorld、Sora2 等主流模型。EWMBench 全面考核场景一致性、机器人末端运动正确性以及指令语义对齐三大能力维度。得益于表征层面的多模态联合建模,Thinker-WM 在衡量机器人轨迹时空匹配度的 nDTW(归一化动态时间规整)、表征运动速度与加速度合理性的 Dyn(动力学一致性)等机器人运动核心指标上均保持领先。

Image 4

WorldArena1.0 Track-1:

在仿真环境基准 WorldArena Track-1 中,Thinker-WM 在视觉画质、内容一致性、物理合理性、3D 几何精度、指令遵循等 12 项关键评价维度上整体领先,兼顾了仿真环境下的视觉生成质量与物理交互可信度。Thinker-WM 以表征层统一的 Unified Dynamic Transformer(UDT)为核心,将 RGB 图像、度量深度与机器人动作纳入同一套共享动态表征中联合演化,实现了视频-动作联合生成、世界预测、策略推理、视频转动作、逆动力学等多项能力的融合,为具身智能提供了新一代基础世界模型底座。

Image 5


02 Thinker-WM 技术突破:表征层面实现视觉、几何、动作多模态统一

让机器人在真实世界落地执行任务,最难的往往不是识别眼前物体,而是准确预判环境的下一步变化。这也是世界模型的核心价值所在。以往的世界模型普遍采用“拼接式”方案:视频生成负责画面、策略网络负责动作、几何预测负责空间信息,各模块独立计算,再通过接口拼接输出。

但这套架构存在固有缺陷:动作改变环境,环境约束动作,而几何结构同时影响两者。物理世界中紧密耦合的信号被人为拆分到不同模块后,往往会丢失内在的因果关联。

例如,“一个杯子被推下桌子”这一物理事件,在语言中是一句话描述,在动作中是一串关节指令,在视频中是一段穿越画面的物体运动,在深度信息中则是一组连续变化的距离场。四种表述指向的是同一个事件,而非四个不同对象。因此,要求模型生成其中任何一种模态,本质上都是在推演同一个过程。

但这种模态间的信息重叠又是不完全的:动作不携带外观与上下文——相同的关节命令作用于空桌子和杂乱桌面上,含义截然不同;语言不携带时空细节——“杯子被推下桌子”并未规定推力的方向、大小、速度,也没有指定手的具体轨迹以及杯子翻滚的圈数与落点;视频不携带显式几何与度量——一系列像素既不知道杯子的具体尺寸,也不知道其绝对距离;深度信息则不携带外观、语义和意图——它能呈现表面的遮挡与接触几何,却无法辨识物体究竟是杯子还是桌布,更无法解释推倒它的动作意图。

针对上述难题,优必选 Thinker 团队提出了全新解法:不再局限于接口层的简单合并,而是在表征层面实现多模态的深度统一。作为优必选自研的统一多模态世界模型,Thinker-WM(Thinker World Model)将 RGB 视频、深度信息和机器人动作统一编码至同一个中间表征空间,依靠共享参数联合演化。外观、几何与动作不再是三条割裂的流水线,而是同一个物理世界演化过程的三种表达形态。Thinker-WM 的底层设计逻辑在于:不同模态皆为同一物理过程的不同切面;模型在共享表征空间中完成对齐并开展推理,而非在模态接口处进行机械的条件拼接。

Image 6

Thinker-WM:视觉、几何与动作的统一建模框架

具体而言,RGB 图像、深度信息和机器人动作分别通过各自的编码器映射至统一潜在空间,随后输入共享的统一动态 Transformer(Unified Dynamics Transformer, UDT)进行联合时序建模,最终由各自的解码器还原输出视频、深度图及机器人可执行动作。这意味着多模态交互在 Transformer 内部完成,视觉 token、几何 token 和动作 token 通过同一套注意力机制直接交换信息,避免了在输入或输出层进行浅层拼接。

几何信息也不再仅作为辅助监督信号存在。Thinker-WM 将深度作为原生生成模态,与视频共享一致的潜在拓扑和时空组织。深度监督直接塑造共享表征,使物理空间结构成为世界模型的“母语”,而非外挂补充模块,进而帮助机器人更精准地理解物理空间。这一统一建模的价值在实际任务执行中得到了验证:在 RoboTwin 单任务消融实验中,引入深度模态后,任务操作成功率较无深度基线提升了 15 个百分点,表明空间几何信息不仅有助于场景理解,更能显著改善动作生成与任务执行质量。


03 依托统一表征,一个模型解锁六种能力

依托多模态统一表征以及共享参数设计,Thinker-WM 能够通过灵活切换条件模态与生成模态,原生支持六大能力模式。

Image 7

同一份模型权重,既能前向预判并想象未来画面,也能反向推演机器人执行轨迹,还能从视频中逆向提取动作指令。这正是统一表征所带来的核心技术红利。

Image 8


04 3万小时异构数据,撑起通用世界模型底座

统一表征能力的背后,离不开优必选大规模、多元化训练数据的支撑。Thinker-WM 的训练语料在具身智能领域具备可观体量:

  • 约 2 万小时第一人称人类视频:覆盖家庭、商业零售、工业等多种场景,弥补了机器人遥操作难以低成本获取多样化任务、物体与场景的短板,同时配套约 1 千小时的对齐深度数据。
  • 约 1 万小时真实机器人数据:源自多款不同形态的机器人本体,提供视觉观测与可执行动作的成对监督信号,其中约 3 千小时配套高精度对齐深度标注。
  • 约 1 千小时高保真仿真数据:提供高精度的几何与物理交互监督信号。

不同机器人的动作空间、坐标系与控制协议差异巨大。Thinker-WM 的统一思想不仅体现在模型架构上,也贯穿于数据工程中:该模型统一使用末端位姿表示所有机器人的动作输出,并在 token 中嵌入对应本体的专属标识。由此,不同形态的机器人不仅能共享同一生成空间,还能保留各自精准的本体控制能力。


05 数据 Infra:让海量异构数据高效支撑统一模型训练

要将海量异构数据高效转化为模型能力,离不开稳定、高效的数据基础设施。面对不同机器人、人类视频与仿真数据在格式、模态和标注维度上的差异,优必选 Thinker 团队研发了 Data Factory 数据平台,将数据管理与训练采样解耦,使多源异构数据能够按需灵活组合。

Image 9

Data Factory:从多源异构数据到统一模型训练

Data Factory 围绕三大核心机制支撑模型训练:

  1. 统一组织:标准化整合视频、状态、动作与语言信息,根据不同训练模式动态生成训练样本;
  2. 分层质检:自动化过滤异常片段,严格校验深度与视频的时空对齐,确保训练信号的可靠性;
  3. 异步预取与编码复用:提前调度与加载训练数据,大幅减少等待时间与重复计算开销。

这套数据基础设施实现了多源异构数据的可靠组织、灵活调度与高效供给,为 Thinker-WM 六大能力模式的联合训练与持续迭代提供了坚实的工程底座。


06 Motion Probe 实验设计:验证跨模态表征的真实耦合

在表征层面实现多模态统一是架构设计的核心亮点,但这也引发了一个关键疑问:模型究竟是在共享潜在空间中真正学到了视觉、几何与动作之间的因果耦合,还是仅仅并行处理了多路输入,做了形式上的共存?

为解答这一问题,优必选 Thinker 团队设计了轻量级 Motion Probe(运动探针)验证实验。研究人员在冻结权重的 UDT 视觉表征层后接入一个极小的运动预测头,仅训练该预测头,测试其能否单从纯视觉表征中准确还原末端执行器的位移轨迹。

Image 10

Motion Probe 示意图

实验结果验证了假设:探针的预测误差极低。即使在脱离动作监督的情况下,视觉表征中也已内嵌了高保真的动作运动信息。这一结论直接证明:Thinker-WM 表征层面的多模态统一真实生效,视觉感知与动作规划并非相互独立的管线,而是在共享潜在表征中形成了深度的因果耦合。


07 这意味着什么

Thinker-WM 本次的技术突破,其价值远不止于在评测榜单上的登顶,更在于确立了具身世界模型演进的全新范式:

具身智能的世界模型不应是“视频生成器 + 策略头”的外挂拼接,而应是一套内生统一的时空生成系统——视觉观测、空间几何与动作规划,本质上是同一物理事件在不同模态下的映射。

当机器人能够在统一的表征空间内同步推演画面演变、空间几何与动作轨迹时,其对物理世界因果逻辑的理解便实现了质的跃迁。这也是机器人从“依照指令机械执行任务”,迈向“自主理解物理世界运行规律”的关键一步。

目前,Thinker-WM 已在优必选机器人平台完成部署验证,相关技术将持续赋能下一代具身智能系统。

Thinker-WM 的技术报告与后续迭代版本将在优必选官方具身智能开发者社区 Thinker Cosmos 持续更新;世界模型二次开发能力开放计划与技术解读直播也将陆续推出。

项目链接