誰もがインタラクティブな世界を自由に創造し、体験できるように
凹非寺より 聴雨がお届けします
VAST の世界モデルが新たなブレイクスルーを果たしました。
同社のリアルタイム世界モデル EdenLive が本日、正式にリリースされ、オープンソース化が発表されました。
VAST によると、EdenLive はリアルタイム生成を実現した上で、任意の参照入力、多様な画風の生成、そして長時間の連続実行能力を世界で初めて同時に兼ね備えたとのことです。
具体的には、簡略化されたシーンや参照動画を用意し、ターゲットとなるファーストフレームとプロンプトを与えるだけで、モデルが参照コンテンツのレイアウトや運動の軌跡に沿いながら、実写風やアニメ風などの多彩なスタイルの高精細な映像を持続的に生成します。

さまざまな参照ソースに対応し、生成したい画風も思いのままに指定可能。すべての画面の推移がリアルタイムな生成プロセスの中でシームレスに描画されます。

コンシューマー向けグラフィックボード NVIDIA RTX 5090 1枚、720P 解像度の条件下において、5B モデルの生成速度は 24 FPS を超え、分単位の安定的かつ連続的な画面生成をサポートします。

VAST によれば、ユーザーの操作入力からレンダリング画面の表示に至るまで、システム全体のEnd-to-Endレイテンシはわずか数百ミリ秒にとどまるとのことです。
画面が推移し続けるプロセスにおいて、インタラクションのルールや根底にある世界の状態(ワールドステート)は、すべて上流のインタラクションシステムによって一元管理されます。システムがリアルタイムにプレイヤーの操作を受け取ってステートを更新し、EdenLive は対応する参照画面に基づいてそれらの変化をきめ細やかなビジュアルへとリアルタイムに変換します。
最近、AI による 3D シーンの構築やインタラクティブなコンテンツ制作の能力はますます直感的になってきています。
GPT-6 Astra はその代表例です。すでに Blender で家屋をモデリングし、それをシームレスに Unreal Engine 5 へインポートして、自由に入り込んで歩き回れるインタラクティブなシーンを構築できるようになっています。
AI がシーン構築とインタラクション設計の能力を備えた今、それらのコンテンツにいかにして精巧かつリアルタイムなビジュアル表現を与えるかが、業界にとって喫緊の課題となっています。
こうした背景のもと、ある技術アプローチが業界の共通認識となりつつあります。それは、「インタラクションシステムが基盤となるステートと動作ルールを管理し、生成モデルがビジュアルのレンダリングを担当する」というものです。
そしてこの分業ロジックを、VAST はすでに今年の6月初旬の段階で明確に提唱し、関連成果を外部に示していました。
当時公開された Project Eden のリサーチプレビューにおいて、チームはすでに「ステート管理とビジュアルレンダリングの分離」をコアアーキテクチャの設計として確立していました。その開発ペースから見ても、この技術路線の布石は業界のコンセンサスを約3〜4か月先取りしていたと言えます。
そして今回、この路線のマイルストーンとなる成果として、EdenLive はモデルウェイトと推論コードを正式にオープンソース化し、技術レポートとEnd-to-Endデモも同時に公開しました。
- コードリポジトリ: https://github.com/VAST-AI-Research/EdenLive
- プロジェクトページ: https://vast-eden.ai/?p=edenlive
- 技術レポート: https://assets.vast-eden.ai/assets/edenlive/EdenLive-tech-report.pdf
- オープンソースウェイト: https://huggingface.co/VAST-AI/EdenLive
多彩な参照入力から、異なる画風をリアルタイム生成
EdenLive のコアバリューは、簡略化されたシーンやインタラクティブコンテンツに対して高品質なリアルタイムレンダリングを提供し、根本的なロジックやワールドステートは上流のインタラクションシステムに委ねる点にあります。
実際のシーンで具体的にどのような機能を実現できるのか、以下のデモから直感的に把握できます。
インタラクティブなゲームプレビュー
EdenLive は、2D および 3D シーンの柔軟な連携をサポートしています。現段階では、シーンのウォークスルーや倉庫番(Sokoban)など、適度なインタラクション頻度のプロトタイプに特に適しており、クリエイターがゲームのプロトタイプをリアルタイムで操作しながら、高精細なレンダリング表現を即座に確認できます。
例えばマグマを渡るアクションゲームでは、キャラクターが冷凍銃を使って足場を作り、連続ジャンプで前進していきます。このような動的なゲーム画面を操作に応じてスムーズに更新するには、生成フレームレートが重要な前提条件となります。VAST が公開したデータによると、RTX 5090 1枚、720P 画質において、EdenLive 5B モデルの生成速度は 24 FPS 以上に達します。
別の2人対戦型格闘ゲームのデモでは、キャラクターの技の動作と体力ゲージ、ラウンドカウントダウンなどのゲーム UI ステートとの正確な同期が鮮明に示されています。
スムーズなリフレッシュレートだけでなく、操作の応答遅延もインタラクション体験を直接左右します。EdenLive の操作入力から画面への反映までのEnd-to-Endレイテンシは、現在数百ミリ秒のレベルに抑えられています。また、分単位の長時間の連続生成にも対応しており、複雑なシーンのウォークスルーや一連の連続したアクションを行うにも十分な余裕があります。
シーン&アニメーションプレビュー
ゲームのインタラクションだけでなく、EdenLive は映像・アニメーション制作における初期のシーンプレビューにも応用できます。シーンのレイアウトとカメラワークが確定している状況下で、さまざまなアートスタイルを素早く検証することが可能です。
例えば「自転車に乗るペリカン」というユニークなシーンでは、羽毛の質感や海辺の環境ディテールを正確に再現するだけでなく、物理法則に則ったリアルな光と影もシミュレートされています。同様に、シンプルなホワイトモデルで組まれた雪道のドライブシーンも、EdenLive で処理することで、繊細な車体の質感、雪のディテール、ダイナミックなライティングを表現できました。
こうした画面の生成は、主に3つの入力要素が連携してコントロールされます。参照画面がシーンのレイアウト、カメラの軌道、ダイナミックな動きを提供し、ターゲットとなるファーストフレームが全体のトーンと画風を決定し、プロンプトが材質のディテールや特定のスタイルをさらに具体化します。そのため、ベースとなる同一のカメラワークや構図から、ワンクリックで多彩なアートスタイルのバリエーションを展開でき、ディレクターやコンセプトデザイナーの比較・意思決定を強力にサポートします。
動画の再レンダリングとスキン変更
既存の動画を EdenLive に取り込んでリアルタイムに再レンダリングし、キャラクターの外見、画面内のオブジェクト、さらには全体のアートスタイルをシームレスに変更することも可能です。
例えば、ブルーバックで撮影した実写の人体映像を、元のポーズや衣装の配色を忠実に維持したまま、リアルタイムでアニメ風のキャラクターに変換できます。この機能は、VTuber(バーチャルライバー)のアバター生成などの用途に直結します。また、実写の建造物動画を素早く手描きアニメ調にリペイントすることも可能です。建築物のマクロな空間構造を維持しつつ、柔らかな線と色彩で輪郭や光影を再構成します。
身体性AI(Embodied AI)向けのデータ拡張
身体性AIの分野では、EdenLive を用いてロボット操作動画のデータ拡張を行うことができます。生身の人間の主観視点(一人称視点)の作業映像をロボット視点に変換し、環境内の物体、素材、外観などを制御しながら変更することが可能です。
テーブルを拭く実写動画では、人間の手がリアルタイムにロボットアームに置き換わり、台拭きがオレンジ色から黄色へと変わりますが、拭き取るコアな操作軌道や物理的なダイナミクスは元の動画と高度に一致しています。同様に、操作の主体を金属製のアームに変更したり、台車のハンドルをヘアライン仕上げの金属調に変えたりすることもできます。
これにより、1つの基本的な操作動画から、外見や材質が異なる大量のサンプルを低コストで派生させることができ、身体性AIアルゴリズムの学習用データセットを効果的に拡充できます。
軽量な2Dアニメーション、3Dホワイトモデルから、実写動画や一人称視点のインタラクションログに至るまで、あらゆる素材を EdenLive の入力ソースとして活用できます。単一のモデルで多様な参照入力を受け取り、既存のレイアウトや動きを忠実に守りながらビジュアルスタイルを再構築し、それをリアルタイムかつ長時間安定した形で出力できる点こそが、本モデルの最大の強みです。
もちろん、EdenLive にはまだ改善の余地が残されています。高頻度かつ激しい対戦シーンでのアクション表現や遅延の抑制、同一画面に複数キャラクターが存在する際のアイデンティティ維持、極小オブジェクトの精密な制御、そして長時間の推論におけるビジュアルの安定性など、今後も継続的な改善が必要です。
そのため VAST は、各サイズのモデルウェイト、推論コード、技術レポートをオープンソース化したほか、Game Prototype Turbo(Prompt-to-Proxy Game スキルモジュール)も同時に公開しました。クリエイターはこのツールを活用してプレイ可能なゲームプロトタイプを素早く構築できます。インタラクションシステムがステートの推論を行って軽量な参照画面を出力し、EdenLive がそれを即座に美しいビジュアルへとレンダリングしてユーザーにフィードバックするという、ゲームプレイのロジックからリアルタイムレンダリングに至る完全なEnd-to-Endパイプラインが開通しました。
EdenLive の技術路線と中核となる強みを読み解く
EdenLive のアーキテクチャの根幹にあるのは、「ワールドステート管理とビジュアルレンダリングの分離」です。世界の動作を司る物理ロジックと、最終的な画面のビジュアル表現を明確に切り離しています。
ストリート格闘ゲームのデモを例にとってみましょう。
キャラクターの移動、技の繰り出し、被弾判定は完全にプレイヤーの入力によって駆動されます。上流のインタラクションシステムがボタン入力のロジックを処理し、衝突判定や体力の増減を計算します。一方、EdenLive はロジック層から出力されたボーン(骨格)や参照ステートをもとに、シンプルなキューブ状のキャラクターをリアルタイムで高精細な実写風キャラクターへとレンダリングします。プレイヤーは画面からのフィードバックを受けて次の操作を行うことで、ループが完結します。
その完全なパイプライン構成は以下の通りです。

このパイプラインにおいて、低精度のシーンや参照ストリームは空間レイアウトと物理運動の基準を提供し、ターゲットとなるファーストフレームとプロンプトが外観のディテールを拘束します。EdenLive が高品質なビジュアル出力を担当し、ロジックの推論は上流のインタラクションエンジンに委ねられます。
これは、VAST の壮大な構想における EdenLive の立ち位置を明確に示しています。Project Eden は汎用世界モデルを見据えた VAST の長期的なプロジェクトであり、EdenLive はその中で「リアルタイム生成レンダリング」の領域に特化した重要なマイルストーンとなる成果です。
このパイプラインのロジックは明快ですが、エンジニアリングの実装においては複数の課題を同時に克服する必要がありました。画面の精細さと激しい動きへの追従性を両立させつつ、極めて高いリアルタイム推論フレームレートと長時間稼働時の安定性を確保しなければなりません。その中核となる技術的優位性は、主に以下の3点に集約されます。
第一に、高品質なペアデータの蓄積です。シンプルな幾何学形状をリアルなオブジェクトへとマッピングし、動作の正確な整合性を維持するためには、参照データと生成画面の間の精密なマッピング関係が不可欠です。シーンのトポロジー、カメラパラメータ、物体の運動ベクトルを厳密に揃える必要があります。VAST のデータパイプラインは、2D/3D の簡易シーン、ゲームエンジンによる合成レンダリング、実世界の物理動画など多岐にわたるデータを統合しており、ドメインを越えた参照理解のための強固な基盤を築いています。
第二に、学際的なエンジニアリングアーキテクチャの協調です。EdenLive は 3D 空間計算、動画生成モデル、システムレベルのエンジニアリング最適化を融合させています。モデルは3次元空間と運動学的制約を理解しつつ、最先端のビジュアル生成品質を実現し、かつ極めて低遅延な推論性能を担保しなければなりません。これには、アルゴリズム設計と低レイヤーのハードウェア最適化との高度な協調が求められます。
そして第三に、先見的なアーキテクチャの予測と継続的な研究開発です。Project Eden の立ち上げ当初から、VAST は「持続的に進化する構造化ステート」「ステートから観測へのインタラクションインターフェース」「生成ニューラルレンダリング」からなる3層アーキテクチャを提唱し、ステートの推論が単一の視点に依存せずに独立して存在できるように設計していました。

業界のコンセンサスを数か月先取りしたこの技術方針の判断が、チームに貴重な開発期間をもたらし、データループの深化とシステム性能の継続的な最適化を可能にしました。
3D の道筋をたどり、インタラクティブな世界へ
システムの役割分担から見ても、EdenLive は依然として VAST が構築し続けてきた 3D 技術基盤の上に深く根ざしています。
真にインタラクティブな仮想世界を構築するには、実体を持つキャラクターや小道具、環境アセットが不可欠であり、物理空間におけるスケールや幾何トポロジーの関係も明確でなければなりません。3D 表現は世界全体に対してインタラクティブで編集可能な構造的「骨組み」を提供し、生成動画技術はその骨組みをリアルな光影、質感、物理ダイナミクスに満ちた精緻な画面へと「昇華」させる役割を担います。
この両者が有機的に結合して初めて、クリエイターが低コストで基盤ルールやシーンレイアウトを調整しながら、同時に映画クオリティのビジュアルフィードバックを即座に得られる環境が実現します。
これこそが、VAST が世界モデルを展開する技術的ロジックです。同社が培ってきた 3D 生成・理解能力は、静的なアセットを生成できるだけでなく、世界モデルに求められるマルチモーダルデータの構築にも活用できます。既存の 3D パイプラインを利用することで、動画から深度、カメラ軌道、幾何トポロジーを自己教師あり(教師なし)で逆算できるほか、シミュレーションエンジンを通じて物理ステートとレンダリング結果が厳密に対応した合成データを大量に生成することも可能です。
こうした技術の進化は、クリエイターのハードルを着実に引き下げています。単一のモデル生成から、複雑なシーンの構築、さらにはインタラクションロジックの定義とフルダイナミックな高精細ビジュアル表現の付与へと進み、最終的には**「誰もがインタラクティブな世界を自由に創造し、体験できるようにする」**という目標に結実します。
Project Eden が基盤となる世界モデルの長期的な探求を担う一方で、EdenLive はリアルタイムレンダリングという要となる結節点をいち早く切り拓き、プレイ可能なプロトタイプを高品質なビジュアル体験へと素早く引き上げる強力なツールをクリエイターにもたらしました。