让人人都能自由创造并体验可交互世界
听雨 发自 凹非寺
VAST 的世界模型迎来了新突破。
其实时世界模型 EdenLive 今日正式发布并宣布开源。
据 VAST 介绍,EdenLive 首次在实现实时生成的前提下,兼顾了任意参考输入、任意画风生成以及长时连续运行能力。
具体而言,只需为其提供简化场景或参考视频,并配合目标首帧与提示词,模型便能沿着参考内容的布局与运动轨迹,持续生成写实、二次元等多元风格的高精度画面。

参考来源各异、生成画风随心指定,且所有画面演变均可在实时生成过程中无缝呈现。

在单张消费级显卡 NVIDIA RTX 5090、720P 分辨率条件下,其 5B 模型的生成速度超过 24 FPS,并支持分钟级画面的稳定连续生成。

VAST 表示,从用户输入操作到渲染画面呈现,整套系统的端到端延迟仅为百毫秒级。
在画面持续演变的过程中,交互规则与底层世界状态均由上游交互系统统一维护:系统实时接收玩家操作并更新状态,EdenLive 则依据对应的参考画面,将这些变化实时转化为细腻的视觉呈现。
近来,AI 在 3D 场景搭建与交互创作方面的能力愈发直观。
GPT-6 Astra 便是一个典型例证:它已能在 Blender 中完成房屋搭建,并无缝导入 Unreal Engine 5,构建出可自由进入与漫游的交互场景。
当 AI 具备了场景搭建与交互设计的能力后,如何赋予这些内容精致且实时的视觉表现,便成为行业亟待攻克的新课题。
在此背景下,一条技术路线逐渐成为行业共识:由交互系统维护底层状态与运行规则,再由生成模型负责视觉渲染。
而这套分工逻辑,VAST 早在今年 6 月初便已明确提出并对外展示了相关成果。
在当时公开的 Project Eden 研究预览中,团队已将**“状态维护与视觉渲染解耦”**确立为核心架构设计。从推进节奏来看,这一技术路线的布局领先行业共识约 3 至 4 个月。
如今,作为该路线的阶段性落地成果,EdenLive 正式开源了模型权重与推理代码,并同步公开技术报告与端到端 Demo。
- 代码仓库: https://github.com/VAST-AI-Research/EdenLive
- 项目主页: https://vast-eden.ai/?p=edenlive
- 技术报告: https://assets.vast-eden.ai/assets/edenlive/EdenLive-tech-report.pdf
- 开源权重: https://huggingface.co/VAST-AI/EdenLive
多种参考输入,不同画风实时生成
EdenLive 的核心价值,在于为简化场景和交互内容提供高质量的实时渲染服务,而底层逻辑与世界状态则继续由上游交互系统承载。
它在实际场景中具体能实现哪些功能?通过以下几组应用演示可以直观感受:
交互式游戏预览
EdenLive 支持 2D 与 3D 场景的灵活接入。现阶段,它尤为适合场景漫游、推箱子等交互频率适中的玩法原型,便于创作者在实时操作游戏原型的同时,即时检验高精画面的渲染表现。
例如在岩浆闯关游戏中,角色可使用冷冻枪制造落脚点,再通过连续跳跃向前推进。要让此类动态游戏画面随操作流畅更新,生成帧率是关键前提。据 VAST 公布的数据,在单张 RTX 5090 显卡、720P 画质下,EdenLive 5B 模型的生成速度可达 24 FPS 以上。
另一组双人对打游戏 Demo 则直观展现了角色招式动作与血条、回合倒计时等游戏 UI 状态的精准同步。
除了流畅的刷新率,操作响应延迟同样直接决定交互体验。EdenLive 目前从操作输入到画面响应的端到端延迟保持在百毫秒级别。同时,系统支持分钟级的长时连续生成,为复杂的场景漫游与连贯操作提供了充足的展开空间。
场景与动画预览
除游戏交互外,EdenLive 还可应用于影视动画的前期场景预览——在场景布局与摄影运镜确立的前提下,快速探索不同的美术风格。
例如“鹈鹕骑自行车”的趣味创意场景:模型生成不仅精确还原了羽毛质感与海边环境细节,更模拟出了符合物理规律的真实光影。同样,基于简易白模搭建的雪地驾驶场景,在 EdenLive 处理后呈现出了细腻的车身材质、积雪质感与动态光照。
此类画面的生成主要由三部分输入协同控制:参考画面提供场景布局、镜头轨迹与动态运动,目标首帧确立整体外观基调与画风,提示词则进一步丰富材质细节与特定风格。因此,同一套基础运镜与构图,可一键衍生出多种美术风格方案,供导演与概念设计师对比决策。
视频重渲染与换皮
现有视频亦可接入 EdenLive 进行实时重渲染,实现角色外观、画面元素乃至整体美术风格的无缝替换。
例如,将蓝幕前的真人实拍画面实时转化为卡通角色,同时精确保留原动作姿态与服装配色。这种能力可直接应用于虚拟主播形象生成等场景。此外,实拍建筑视频也可被快速重绘为手绘动画风格:在保留建筑宏观空间结构的同时,利用柔和线条与色彩重新勾勒轮廓与光影。
具身数据增强
在具身智能领域,EdenLive 可用于具身操作视频的数据增强,将真实人类的第一人称操作画面转化为机器人视角,并支持对环境中的物体、材质与外观进行受控修改。
在清洁台面的实拍视频中,人手被实时替换为机械手,抹布颜色由橙变黄,但擦拭的核心操作轨迹与物理动态依然与原视频高度一致。同理,操作主体可被替换为金属机械臂,手推车把手也可更换为金属拉丝质感。
这使得一份基础操作视频能够低成本衍生出外观多样、材质各异的海量样本,有效扩充具身智能算法训练的数据集。
从轻量 2D 动画、3D 白模,到实拍视频与第一人称交互记录,各类素材均可作为 EdenLive 的输入源。通过同一模型接收多元参考输入,在遵循既有布局与运动的基础上重塑视觉风格,并以实时、长时稳定的形式输出,正是该模型的核心优势。
目前,EdenLive 仍有进一步优化的空间:高频、强对抗场景下的动作呈现与延迟控制,多角色同屏时的身份一致性保持,微小物体的精细操控,以及长时间推演下的视觉稳定性等,均需持续迭代。
为此,VAST 已开源不同尺寸的模型权重、推理代码及技术报告,并同步开源 Game Prototype Turbo(Prompt-to-Proxy Game 技能模块)。创作者可借助该工具快速构建可游玩的游戏原型:交互系统负责推演状态并输出轻量参考画面,EdenLive 则将其即时渲染为精美视觉内容反馈给用户,跑通了从玩法逻辑到实时渲染的完整端到端链路。
拆解 EdenLive 技术路线与核心壁垒
EdenLive 架构的核心在于**“世界状态维护与视觉渲染解耦”**——将世界运转的物理逻辑与画面的最终视觉呈现清晰拆分。
以街头格斗 Demo 为例:
角色的位移、出招与受击判定完全由玩家输入驱动;上游交互系统负责处理按键逻辑、计算碰撞判定及血量增减;EdenLive 则根据逻辑层输出的骨架与参考状态,将简易的方块角色实时渲染为高精度的写实人物。玩家依据画面反馈进行下一步操作,以此形成闭环。
其完整工作管线结构如下:

在这一管线中,低精度场景或参考流提供空间布局与物理运动基准,目标首帧与 Prompt 约束外观细节;EdenLive 负责高质量视觉输出,逻辑推演则留给上游交互引擎。
这清晰明确了 EdenLive 在 VAST 宏观项目中的定位:Project Eden 是 VAST 布局通用世界模型的长期工程,而 EdenLive 则是其专注于“实时生成式渲染”维度的关键阶段成果。
该管线逻辑清晰,但在工程落地层面需要突破多维度的协同挑战:既要保证画面精细度与高动态贴合,又要确保极高的实时推理帧率与长时间运行的稳定性。其核心壁垒主要体现在三方面:
首先是高质量成对数据积累。将简易几何体映射为逼真物体并维持动作精确一致,依赖于参考数据与生成画面之间精准的映射关系。场景拓扑、相机参数以及物体运动矢量均需严格对齐。VAST 的数据管线融合了 2D/3D 简易场景、引擎合成渲染以及真实世界物理视频等多样化数据,为跨域参考理解提供了坚实基础。
其次是跨学科工程架构协同。EdenLive 融合了 3D 空间计算、视频生成模型与系统级工程优化。模型既要理解三维空间与运动学约束,又要实现前沿的视觉生成品质,同时必须保障严苛的低延迟推理性能,这要求算法设计与底层硬件优化深度协同。
最后是前瞻性的架构预判与持续研发。在 Project Eden 项目之初,VAST 便提出了包含“持续演化的结构化状态”、“状态至观测的交互接口”与“生成式神经渲染”在内的三层架构,使状态推演独立于单一视点存在。

这一提前行业共识数月的技术路线判断,为团队争取到了关键的研发窗口期,以持续深耕数据闭环并优化系统性能。
沿着 3D 这条路,走向可交互的世界
从系统分工来看,EdenLive 依然深植于 VAST 持续构建的三维技术底座之上。
构建真正可交互的虚拟世界,离不开实体角色、道具及环境资产,也必须明确物理空间中的尺度与几何拓扑关系。3D 表征为整个世界提供了可交互、可编辑的结构骨架;而生成式视频技术则负责将骨架升华为富含真实光影、材质质感与物理动效的精细画面。
二者的有机结合,方能实现创作者在低成本调试底层规则与场景布局的同时,即时获得电影级画面反馈。
这也是 VAST 布局世界模型的技术逻辑:原有的 3D 生成与理解能力不仅能生产静态资产,更能辅助构建世界模型所需的多模态数据。利用已有的 3D 技术管线,可从视频中无监督反解深度、相机轨迹及几何拓扑,亦可通过模拟引擎成批生成物理状态与渲染结果严格对应的合成数据。
这一技术演进正不断降低创作者的门槛:从生成单一模型,到搭建复杂场景,再到定义交互逻辑并赋予全动态高精视觉表达,最终服务于**“让人人都能自由创造并体验可交互世界”**的目标。
Project Eden 承担着底层世界模型的长期探索,而 EdenLive 则率先打通了实时渲染这一关键节点,为创作者提供了一个将可玩原型快速升维为高品质视觉体验的高效工具。