跳转到内容
主站 新闻 控制台

单卡5090跑通34B实时世界模型,国产团队斩获英伟达大奖

· 量子位
国内AI

房间秒变草原,抬手就能下雪

一个从国内虚拟片场里成长出来的实时世界模型,在 NVIDIA 的舞台上拿了奖。

10 月 15 日,2026 NVIDIA 创业企业展示半程展示在苏州金鸡湖举行。来自重庆的达瓦科技凭借其实时世界模型产品 Scenes AI,斩获**「半程展示卓越企业奖」**。

本届赛事在全国举办了 11 场分站活动,吸引了 580 多家科创企业报名,最终仅 30 家 NVIDIA 初创加速计划(Inception)会员企业入围半程展示。

Image 3

与多数视频模型比拼“下一帧像不像”不同,Scenes AI 走了一条截然不同的路线:

它不直接预测下一帧画面,而是维护一个持续运行的世界状态——场景、人物、相机、灯光、物体与物理规律,各自作为一组可独立读写的变量。

当世界发生微小变化时,模型无需将整段画面推倒重绘,而只需更新发生变化的局部状态,并将结果写回世界,使下一刻在此基础上继续演进。

因此,它所要解答的问题也发生了转变:不再是“下一帧长什么样”,而是**“如果改变世界中的某个变量,世界接下来会如何演化?”**

更关键的是,它的输入并非游戏引擎画面或虚拟代理,而是一台普通摄像头拍摄的真实空间。

用达瓦自己的话来说:“A video is an output. A world is a process.”(视频只是结果,世界才是过程。)

Image 4

先看效果:既能改换整个世界,也能只修一面墙

来看最新公布的演示 Demo。

左上角是摄像头实时捕捉的真实房间:白墙、绿幕、一把铁艺椅、墙角的一只玩偶熊,中间站着一位正在扶帽檐的真人。

大画面则是同一时刻的模型输出:房间被渲染成了手绘风格的夏日草原,真人同步变身为头戴黄色棒球帽的动画少女,动作完全一致。

仔细观察会发现,变化的仅是视觉风格。椅子依然位于少女身后,小熊也端坐在原来的“墙角”,右侧深色柜子的空间位置和透视关系完全未变,草地上甚至还隐约可见两面墙体交汇的折线。

考点一:全局重渲染,结构不能乱

在这一帧中,唯一被修改的变量是“画风”。

人物动作、家具位置、遮挡关系以及空间透视,均被作为保持条件锁定。模型必须先准确识别出人物、椅子、玩偶与柜子等主体,在对整个空间切换风格的同时将其固定在原位,并且确保每一帧都逻辑自洽。

Image 5

考点二:局部改写,还得“记得住”

在同一场景中,一名小朋友在墙上写下“DW未来”,随后抱起玩偶跑出画面;接着一位男生起身,房间里拔地长出树木,地面升起一堆篝火;随后他又抬手操控天气,屋内先是飘起雪花,旋即又下起大雨。

经历这一连串事件,人员进出、新物件生成、天气数度更迭,但墙上的四个字始终清晰保留,位置与笔画分毫不差。

这考验的是模型能否将世界状态正确写回,并实现长效维持。

对于依赖逐帧生成的模型而言,画面中的动态变化越多,先前的细节就越容易被逐步“冲刷”,每一次重绘都可能导致细节漂移。但在 Scenes AI 中,“墙上有字”在书写完成的那一刻便被固化为世界状态的一部分。此后无论环境如何变化,只要没有主动修改该状态的事件发生,它就会持续存在。

Image 6

在 9 月的首发演示中,同样的底层逻辑亦有体现:雪怪破土而出离开后,地面的坑洞始终保留;铁艺椅两次被转换为狼首铁王座,主播仍能准确坐回原位;窗帘下摆起火,相邻的玩偶与花盆却丝毫不受波及。

Image 7

整套实时生成流程均运行在单张本地消费级 RTX 显卡上,画面右上角实时显示渲染帧率。

Image 8

差异化路线:从“重画下一帧”转向“更新世界状态”

Demo 的背后,源于达瓦对世界模型发展阶段的基本研判:

视频生成技术已足够强大,但世界本身尚未真正运转起来。

主流视频生成的最终交付物往往是“一段静态结果”:输入提示词,生成一段精美的视频片段,推理便告结束。

即便将其做成逐帧连续推演,核心关注点依然是“下一帧看起来像什么”,这导致其在身份、几何、光照与物理法则上的误差,会随着时间推移不断累积。

达瓦对世界模型的定义则有所不同:改变一个状态变量之后,世界因何而变、又将如何演进。

以“将光照切换为夕阳”为例:

  • 传统视频模型:重新生成整段视频,场景、人物、机位及物体形态均可能随之发生漂移;
  • Scenes AI:将场景、人物、机位与物体固化为保持条件,仅针对“光照”这一变量进行调整,并基于更新后的世界状态生成新画面。

达瓦将这一技术范式概括为:“修改一个变量,保留整个世界。”

Image 9

映射到计算层面上,即是从“重绘下一帧”转变为**“更新状态增量 ΔS”**——仅计算发生变化的局部区域,其余世界状态保持稳定、可查询且可预测。

在此定义下,一个持续运行的世界被解构为五个关键模块:

Persistent World = World Memory + Neural Physics + Sparse Diffusion + Neural Rendering + AI Lighting

即:世界记忆、神经物理、稀疏扩散、神经渲染以及 AI 光照。

Image 10

达瓦团队认为,从“生成静态视频”跨越到“运行可交互的世界”,必须同时突破五道核心关卡:

跨帧长时记忆、局部精准可控、物理规律与因果关联、实时计算效率,以及能够解释“世界为何如此变化”的数据资产。

他们表示,技术难点不在于堆砌更大的模型规模,而在于状态、控制、物理规律与算力效率必须同时成立。

Image 11

后文详述的精准控制与实时渲染能力,正是这一架构路线在“控制”与“算力”两项挑战上交出的答卷。

技术架构:控制层做“重”,生成层做“轻”

为了将这套逻辑落地为工程体系,达瓦采取的核心策略是:控制层做重,生成层做轻。

Scenes AI 并没有将所有推理压力交给单一模型逐帧重绘,而是在“创作意图”与“画面生成”之间,构建了一套以世界状态为核心的控制体系,称之为视频生成的控制层。

Image 12

  • 控制层:将连续视频流拆解为可查询、可更新、可约束的状态因子——包括场景空间、角色动作、相机机位、灯光材质、资产道具、物理规律与时间流动;负责动作规划、状态维护与因果推演。
  • 渲染层:承接控制层分发的状态指令,只负责生成需要发生改变的部分,并将其合成回全局画面。

其典型运行链路为:

世界状态 → 动作/接触事件 → 状态更新 → 局部生成与合成 → 结果写回。

以“DW未来”演示场景为例:

  • 当小朋友在墙面写字时,事件层识别出书写动作及其接触点(即墙面);
  • 控制层随之更新世界状态,将“墙面带有字迹”作为属性绑定至墙体对象;
  • 后续场景中长出树木、燃起篝火、经历风雪雨水时,控制层仅更新对应的环境与天气变量,渲染层只需生成树木、火焰、雨雪及其关联的光影变化,墙面与字迹则直接沿用既有表征;
  • 雨雪天气属于瞬时动态变化,退场即止;而墙面字迹则作为持久状态固化在世界中,供后续视角与交互持续调用。

该机制的核心在于界定**“瞬态变化”与“持久状态”**的边界:

前者交由渲染层即时处理即可,后者则必须写入世界状态。演示中“坑洞长存”“笔迹不褪”,均源于这一分层状态维护机制。

Image 13

从行业视角看,“将状态维护与视觉渲染解耦”正逐渐成为实时世界模型的共识,核心分歧在于状态的来源方式:

一类方案由上游游戏引擎或程序显式定义规则与状态,模型仅依托参考画面完成渲染,更契合规则明确的游戏与原型开发;

Scenes AI 则直接面向真实拍摄与直播场景,其世界状态需要模型实时从摄像头视频流中解析提炼,并完成持续的维护、推演与写回。

Image 14

精准控制:修改单一变量,其余要素全量保持

实现精准控制的核心依赖于控制层的 Latent Stage 模块。

一是变量解耦。

Latent Stage 在潜空间中将场景、人物、相机、光照、服装、道具及物理规律拆解为多个独立的“虚拟舞台”,各要素既能独立演化,亦可协同约束。

每次编辑操作均明确划分“改动集”与“保持集”:调整光照时,场景几何、人物形态与机位参数全量锁定;更换服装时,人物身份特征与肢体动作则持续约束画面生成。

演示中“全屋画风突变,而家具分毫不差”,正是改动集与保持集实现彻底解耦的直接体现。

Image 15

二是非线性视频矩阵。

达瓦提出了非线性视角矩阵融合方法,将影像从“线性时间流”转化为“多维可编辑矩阵”:角色、环境、相机、光照、物体与运动被解构为可重新组合的视觉要素,使得控制层能够精准理解镜头运动并实现虚实无缝融合。

相关技术论文《NVD: Non-Linear View Matrix Fusion for 2D Video Using Multimodal Foundation Models》已被 ACM UbiComp / ISWC 2026 接收,并于 10 月 13 日在上海国际会议中心现场展示。该成果由达瓦 AIGC 研究院联合香港理工大学、伊利诺伊大学厄巴纳-香槟分校及纽卡斯尔大学共同完成。

Image 16

三是长效世界记忆。

World Memory 模块持久化缓存历史状态片段,为后续生成提供可随时检索、更新的上下文支撑。

当镜头移开后重新对准同一区域时,模型会优先读取该区域的历史状态记录,而非重新凭空生成一面墙。

达瓦将长时序记忆视为当前最关键的挑战——人物身份、空间几何、物理因果与叙事状态均必须跨时间维持高度一致。

团队认为,如果缺乏因果记忆机制,单靠堆叠算力卡亦无法解决根本问题。

四是物理规律硬约束。

Neural Physics 涵盖刚体、布料、流体与粒子系统,以碰撞和重力为核心构建生成约束条件,严密限定火焰蔓延边界、布料受力形变轨迹;Neural Renderer 则负责将几何形体、材质属性与环境光照解译为最终画面。

物理状态由此成为生成、训练与评估体系的统一基准,摆脱了单纯依赖视频像素拟合的局限。

在连续编辑评测中,Scenes AI 实现了 98.2% 的目标编辑成功率,以及 93.3% 的人物身份一致性保持率。

Image 17

实时渲染:将算力精准集中于变化区域

渲染层由其实时生成模型 LiveStage 主导,其攻坚目标非常明确:

在单张消费级显卡的计算与显存约束下,确保画面能够低延迟、持续稳定地跟随真人动作实时输出。

第一,稀疏扩散自回归

自回归机制保障了画面沿时间轴的连续推演,而稀疏计算则严格限制了每一步迭代的更新范围。这意味着模型预测的核心是“状态增量”,而非从零生成整幅新画面。

基于对 300 多个真实商业拍摄项目的深入分析,达瓦发现,典型场景中每帧发生本质变化的区域仅占全画面的 10%—20%。

因此,墙面、地面等静止背景通过潜空间缓存(Latent Cache)直接复用,系统算力得以高度聚焦于人物主体、面部表情、手部动作、衣物布料、烟雾流动、光影渐变等核心交互区域。

Image 18

第二,因果化稀疏微扩散

渲染层接收来自控制层下发的一组条件参数(涵盖事件类型、空间坐标、速度、作用强度、目标身份、材质属性与局部历史),仅针对变化区域执行少量步数的采样推演,再将局部成果精准合成回全局世界画面中。

  • 因果化:确保每一步计算严格仅依赖既有历史信息,天然契合流式视频输出需求;
  • 微扩散:单次迭代仅聚焦局部微小区域,避免了全局全量扩散的高昂开销。

第三,动态稀疏激活

模型总参数量为 34B,但在实际推演的每一步中仅动态激活约 4B 参数,激活率仅约 11.8%。

空间维度的局部更新降低了“计算量上限”,模型内部的稀疏激活则严格控制了“单次推理的计算负载”,二者协同构成了**“拥有大模型表征容量,同时具备实时级计算路径”**的技术优势。

Image 19

上述三项技术协同下,相比传统视频扩散方案,Scenes AI 的 GPU 资源开销降低了 40%—60%,推理速度提升了 3—5 倍。

Image 20

针对画面需要全局转场(例如整间屋子完全变为夏日草原,变化面积远超 20%)的极端情况,系统能够依据变动范围动态调配算力,使局部精修与全景转换在同一条计算管线中无缝兼容。

最终,在单张 NVIDIA GeForce RTX 消费级显卡上,Scenes AI 稳定实现了 720P、25 帧的低延迟实时渲染输出。

原生构建于 NVIDIA 底层技术栈

达瓦与 NVIDIA 的底层技术合作可追溯至 2018 年,彼时达瓦采购了首套 NVIDIA DGX-1 系统。

如今,Scenes AI 深度依托 CUDA 进行模型训练与推理加速,利用 TensorRT 完成极致的算子级推理优化,并结合 NVENC 硬件模块实现超低延迟的实时视频编码与输出。

稀疏更新降低了无效算力消耗,Latent Cache 显著提升了显存复用率,分层架构亦天然适配异构分布式部署。整套技术体系自底层起便全面适配 GPU 并行架构与计算复用逻辑。

Image 21

核心壁垒:并非 Video Dataset,而是 State Dataset

当算法框架厘清之后,真正的工程落地门槛在于训练数据的构建。达瓦在该领域的技术积淀主要分为三层。

第一层:全维度状态数据集

要想让模型真正学会“世界如何变化”,单纯依赖视频像素本身远远不够。

互联网上流通的绝大部分视频均为剪辑合成后的成片,相机运动轨迹、打光布局、道具交互细节等底层物理因果数据均已被剪除,单一像素无法完整解释物理世界的演变逻辑。

对此,达瓦的技术理念是:训练世界模型需要的不是单纯的视频数据集(Video Dataset),而是具备因果属性的状态数据集(State Dataset)。

目前,达瓦在重庆永川运营着一座面积达 8.4 万平方米的全流程数字化科技片场。

在过去 5 年间,团队从 300 多个真实商业实拍项目中持续采集、标注并归纳数据,累积沉淀了约 180TB 的高质量结构化世界状态数据集,全面覆盖相机轨迹、动作轨迹、对象状态、光照状态、物理状态与叙事状态六类核心维度。

在片场单场拍摄中,系统会进行 300 多个维度的精细化结构标注,将镜头光学、空间几何、演员表演与动作数据严格对齐至同一条时间轴上。

Image 22

同时,专业片场环境天然沉淀了实时生成领域中最具挑战性的长尾场景样本,例如宽袖与复杂裙摆的物理动力学随动效果。