单图直出场景,顶会最佳论文落地
鹭羽 发自 凹非寺
牛大发了!3D生成,刚刚从**「造物」一脚跨进了「造世界」**!
看过《盗梦空间》吗?造梦师只用挥挥双手,就能让街道在物理规律下折叠,建筑随之升起。
现在,类似的一幕出现在3D生成中:
随便上传一张场景图,2~3分钟后,一个完整的3D场景直接生成。
桌上的碗可以单独拎起来,椅子可以旋转、挪动,不喜欢的家具也可以随时替换……
不同于只能围观的三维画面,这里的每个资产都**「活着」**。

再或者,除了牛,还可以马来、虎来!

踏出这一步的,正是3D生成领域的头部玩家影眸Hyper3D。其正式发布了世界生成模型WorldGen,将3D生成从单个资产推向完整场景。
相比业内宽泛的“世界模型”概念,WorldGen的定位更加具体、明确:
不是生成一个只能观看的世界,而是交付可交互、可编辑、可进入真实生产环境的3D场景。
就像拼乐高积木,既能持续向其中添加模块,也能随时抽出、替换任意一块;每一块还自带物理属性。如果不小心抽走关键支撑物,周围的物体同样会发生位移或跌落。
简单来说,这里的每项资产都不会与背景彻底锁死,资产之间也具有明确的物理关系。
也正因为更加具体,它离真实工作也更近。
游戏需要关卡,影视需要片场,机器人需要训练环境……如今,这些都可以从WorldGen开始。其生成能力已经足以进入真实生产场景。
这条路也不是凭空出现的。早在去年,影眸Hyper3D就凭借自研的场景级生成技术CAST,拿下国际图形学顶会SIGGRAPH 2025最佳论文。
同期获奖的商业公司只有谷歌和Meta。
而CAST,正是WorldGen的技术基座。

所以,如果说AI 3D的第一步是回答物体长什么样,那么WorldGen回答的则是第二个问题:
多个物体如何带着空间关系和物理属性,组成一个场景。
一张图→一组资产→一个场景
当前,绝大多数整体式场景生成都有一个通病:
好看,但中看不中用。
用户在场景内能做的事情相当有限,基本就是走走看看。想要改动?不好意思,只能推翻重来。

问题的根源出在生成方式上。用影眸Hyper3D创始人兼CEO吴迪的话来说:
传统做法直接将整个场景作为一个模型生成,所有内容容易被合并成不可拆解的整体,场景很难继续使用。
WorldGen的关键变化,是把场景拆解为可单独操作的资产,同时保留它们之间的空间与物理关系。
整个生成流程拆解来看是这样的:
打开官网(https://hyper3d.ai),选择WorldGen生成。

这里上传一张卡通风格的厨房局部图。
系统会自动识别图片中的主要物体,也可以手动框选,单独指定要生成的部分。
接下来,每件前景物体将作为独立资产逐个生成,大约2~3秒即可生成预览。

背景环境则使用3D Gaussian Splatting进行补全,兼顾视觉完整性。整体生成过程可压缩至2~3分钟。

打开SimReady模式后,系统还会为每件资产补充碰撞体,并估计质量、摩擦系数、恢复系数等仿真所需的物理属性。

最终成功复刻出3D版《胡闹厨房》。
场景初稿到手后,行业应用也不在话下。
先看数据需求最迫切的具身智能。

真实采集不仅要承担场地、设备和人员成本,火灾、坍塌等危险环境也无法安全复现;传统仿真虽然可以补位,却又需要工程师耗费大量时间手动搭建场景,成本高且偏差大。
WorldGen则在二者之间达成了微妙的平衡。
以影眸Hyper3D、地瓜机器人、谋先飞于今年7月联合发布的闭环方案为例:
WorldGen负责从真实影像中生成可交互的三维场景,场景内的3D物品全部具备仿真导入能力。

谋先飞的MotrixSim引擎负责物理与并行仿真,让机器人在其中运动、抓取和交互。

地瓜机器人提供算力和开发工具链。

三方整合,形成了从场景准备、仿真运行,到数据采集和策略验证的完整链路。
作为NVIDIA Inception(初创加速计划)的一员,影眸Hyper3D也正通过WorldGen进一步联结英伟达全球仿真生态,将“单个资产用于Isaac Sim”拓展为**“整个场景用于Isaac Sim”**。
游戏圈的用法更加直接。
过去拿到一张关卡概念图后,美术和策划还要完成一长串工作。
图生3D已经能够缩短单件资产的制作时间,但这些资产最后仍要靠人一件件组装。
WorldGen试图把这部分工作进一步前置。
它先从概念图生成一版对象化场景。策划可以检查动线和空间,关卡设计师可以移动或替换道具,美术则可以进一步判断哪些关键资产值得精修。
更方便的是,WorldGen生成后的独立资产能够直接进入Blender、Unity、PlayCanvas、团结引擎、Unreal Engine等DCC与实时引擎环境,进行材质调整、动画绑定、关卡编辑、性能优化等二次创作。

今年7月,影眸Hyper3D已经与Unity中国达成合作,合力构建打通从3D生成到实时游戏应用的工程闭环。
据团队介绍,WorldGen在灰度测试期间,也已有多名游戏从业者对其表达了兴趣。

影视行业则看中了它作为**「导演台」**的潜力。
吴迪举过一个很具体的例子:
导演要把画面左侧盘子里的苹果移到右侧盘子,纯视频生成很难稳定控制;
用WorldGen建立可控的3D基底,再用视频生成模型提升最终画面质量,就会直接得多。

目前,已经有创作者将WorldGen与Seedance 2.5结合使用:
WorldGen提供3D场景,可以轻松完成镜头调度和构图调整,再交给视频生成模型,补齐人物表演、材质光影和最终风格。

WorldGen的AI Render模块则具备AI渲染、自由运镜等功能。同一场景可以变换多种视觉风格,也为产品概念演示、空间导览等内容带来制作效率与品质的双重提升。

这套新用法将让影视生成不必再在可控和好看之间二选一,出手即是大片级。
据了解,WorldGen如今已经进入实际影视项目的制作流程,相关作品将在完成后陆续上线。

XR与空间计算则验证了它的通用性。
既然场景可以从任意视角观察,主要对象又能够被替换和移动,一张普通照片便有机会变成可以进入、浏览和调整的沉浸式空间。
室内设计、沉浸式教育、空间展示,都可以成为它的潜在落点。
搭配Apple Vision Pro等XR设备,《头号玩家》照进现实。

当然,这些还只是WorldGen的一小部分用法,潜力无穷,等待进一步探索。
从顶会最佳论文到产品化,WorldGen攒了整整一年
要理解WorldGen是如何一步“登天”的,还得从去年那篇CAST论文说起。
场景生成难在哪里?
不是把图生3D连续运行十几次就能实现的。单张图片天生缺少深度、真实尺度和物体背面的信息,还存在遮挡和透视畸变。
比如,一个苹果被盘子挡住,模型要先补全看不见的部分;尺寸稍微生成得大一点,摆回桌面时就可能穿进盘子;位置再偏一点,后续碰撞体和支撑关系也会跟着出错。
场景错误还会级联,一步错、步步错,最终反映在产品中,就是用户返工的实打实成本。

CAST的思路可以概括为四步:先看懂→再补全→然后放回去→最后进行物理纠错。
Step 1:模型将输入图片拆分为多个对象,并估计相对深度,让一张缺乏结构信息的RGB图片变成对象清单和空间线索。
Step 2:针对每个物体独立生成完整的3D几何。遮挡感知机制会参考可见部分和场景信息,补出图片中看不到的区域。
Step 3:将生成好的物体放回统一空间。系统需要估计旋转、平移和尺度,尽量保持与原图一致的构图和位置。
Step 4:建立更加细致的物体关系图,描述接触、支撑、悬挂等关系,再结合SDF进行物理校正,减少相互穿透、悬空和不合理堆叠。
于是,这套框架拿到了SIGGRAPH去年的最佳论文。组委会评价称:
CAST支持开放词汇的重建任务,在处理遮挡、精确对齐物体,以及确保物理世界与输入图像的一致性方面表现卓越,为虚拟内容的创作和具身智能相关领域开辟了新的可能性。

但距离产品化,CAST还差一口气。
团队后来又花了将近一年的时间,专门解决多模块串联导致的错误累积问题。
通过减少冗余模块、重构底层流程和提升单环节稳定性,WorldGen最终才得以以完全体形态发布。

至于为什么说它是**「世界生成模型」,而非广义的「世界模型」或者「场景生成模型」,影眸Hyper3D联创兼CTO张启煊**这样定义:
我们认为,世界生成模型是通过文本提示或一张图像,把其中描绘的场景还原为可用的三维世界。
它既能生成开放式场景,也更接近**“世界”**的表达。
它仍然是广义世界模型的重要组成部分。毕竟,真正的“世界模型”需要某种载体来承载世界的外观与属性,只不过影眸选择的载体是3D。
3D生成,进入场景级时代
回到最初的问题:WorldGen到底解决了什么?
答案已经在应用中清晰呈现。
它不会直接生成一款可以上线的游戏、一部完整的电影,也不会替具身智能完成训练和决策,但它解决的是所有这些产业共同面对的前置难题:
怎样将脑洞与海量资产结合起来,快速实现场景化落地。
以Hyper3D Rodin Gen-2.5为代表的3D生成模型,已经将单资产制作周期从数天缩短至分钟乃至秒级,但在真实项目中,极少只需要孤立资产。
后续不可避免地要对不同形态、不同物理属性的资产进行拼装,包括识别、校准、导入引擎等环节,这些仍然需要人工完成。
WorldGen改变的,正是AI 3D的基础交付单位:
从一件生成好的物体,变成一份已经初步搭建完成的场景。
虽然距离最终成品仍有进步空间,但对于游戏设计师、影视创作者和仿真工程师而言,它已经提供了一个能够继续编辑的起点。

而场景要真正可用,仅仅“看起来像”还不够。
对物理规律的模拟,才决定了WorldGen的上限。创造出的细节越多,场景就越真实、越好用。
当生成出的场景能够承载内容、模拟交互,并接入现有工作流时,它吸引的便不再只是尝鲜的普通用户,还有真正需要提高生产效率的专业创作者。
3D生成原本就是最接近生产流程的AI应用之一。只有当生成结果能够被持续编辑、复用并投入生产,它的价值才会真正释放。
过去限制3D生成落地的,正是WorldGen如今补上的场景级缺口。
它的出现,可谓天时、地利、人和。
于是,从生成物体到组装世界,3D生成就此进入场景级时代。