- 1. 手術世界モデルからインタラクティブ・シミュレータへ
- 2. Cosmos-H-Surgical-Simulatorのリアルタイムモデルへの蒸留 2.1. 手術教師モデル
- 2.2. 因果ウォームアップ
- 2.3. セルフフォージング蒸留
- 3. FlashDreams：リアルタイム推論エンジン
- 4. 独自データへの適応
- 5. 次のステップ：閉ループ手術フィジカルAIに向けて
- 6. 今すぐ始めましょう
手術ロボット技術は、遠隔操作から、より強力な視覚・言語・行動（VLA）ポリシーへと急速に進化しています。しかし、これらのシステムの評価とトレーニングは依然として困難です。物理的なロボットプラットフォームは運用コストが高く、実験の再現速度も遅い上、失敗すると機器や生体材料を損傷する恐れがあります。従来のシミュレータはより安全な代替手段を提供しますが、手術シーンのモデリングは極めて困難です。変形可能な組織、繊細な器具との相互作用、鏡面反射する表面、縫合糸、針、煙、遮蔽（オクルージョン）などの要素がすべて重要になるためです。
世界基盤モデル（World Foundation Models）は、別の道を示しています。これらは、オブジェクトや物理的な相互作用ごとにルールを手動で記述するのではなく、同期されたビデオとロボットの運動学から視覚的ダイナミクスを直接学習します。NVIDIAの Cosmos-H-Surgical-Simulator はこのアプローチを実証しています。初期のシーンと一連のロボットの動作に基づいて、将来の手術ビデオを生成することができます。これにより、Open-H-Embodiment エコシステムにおいて、実世界よりも高速な評価と合成データの生成が可能になります。
本日、私たちは次のステップとして、手術ロボット向けのリアルタイムかつアクション条件付きの生成シミュレータである Cosmos-H-Dreams を発表します。Cosmos-H-Dreamsは、Cosmos-H-Surgical-Simulatorの機能を、因果的（causal）で少ないステップ数で動作する生徒（Student）モデルへと蒸留し、NVIDIAの高速ストリーミング推論ライブラリである FlashDreams を介して提供します。これは単一の NVIDIA RTX PRO 6000 GPU 上で動作し、人間や学習されたポリシーが閉ループで制御できるインタラクティブな環境を構築します。
1. 手術世界モデルからインタラクティブ・シミュレータへ
Cosmos-H-Surgical-Simulator は、NVIDIA Cosmos-Predict2.5-2B をベースに構築され、Open-H-Embodiment データセットで事後学習（post-training）された、アクション条件付きの世界基盤モデルです。手術のコンテキスト画像1フレームと将来のロボットの軌跡を入力すると、それらのアクションがもたらす視覚的な結果を示すビデオを生成します。これにより、オフラインのポリシー評価や合成データの生成に利用できます。記録された軌跡やポリシーによって生成された軌跡をモデルに入力して対応するロールアウト（rollout）を生成し、実際のロボットで繰り返しアクションを実行することなく、結果を確認または評価することができます。
Cosmos-H-Dreamsは、このモデルをリアルタイムの段階へと進化させます。Cosmos-H-Surgical-Simulatorが学習したマルチエンボディメントの手術バイアスに基づき、モデルを da Vinci Research Kit（dVRK）の卓上縫合タスクに特化して適応させ、自己回帰的にシーンを生成する因果的生徒モデルへと蒸留しました。リリースされたモデルは、初期のRGBフレームとリアルタイムのロボット運動学ストリームを受け取り、次のフレーム群を生成し、その後も後続のアクションブロックの処理を継続します。
また、私たちは CMR Surgical および Cambridge Consultants と提携し、Cosmos-H-Dreamsの汎用性を実証しました。これを Versius 外科医コントローラに統合することで、Versius プラットフォーム上でのリアルタイム実行を実現しました。
2. Cosmos-H-Surgical-Simulatorのリアルタイムモデルへの蒸留
主な課題は、生成コストを削減しつつ、有用な手術ダイナミクスを維持することでした。Cosmos-H-Dreamsは、長期の自己回帰ロールアウトに向けた教師・生徒（Teacher-Student）のトレーニングプロセスを採用しています。
2.1. 手術教師モデル
双方向の教師（Teacher）モデルは、統一された44次元のアクション表現を使用する Cosmos-H-Surgical-Simulator の Open-H チェックポイントから開始します。リリースされた dVRK 卓上モデルでは、双腕 dVRK のアクション内容（相対的なエンドエフェクタの並進、回転、およびグリッパーの状態を含む）が、この共通の表現にマッピングされます。
その後、教師モデルは JHU dVRK 卓上混合データセットで微調整されます。これには、成功したデモンストレーションだけでなく、針の落下、スローイングの失敗、結紮の失敗などの失敗や分布外（out-of-distribution）のイベントも含まれています。これらの失敗は非常に重要です。ポリシーを評価するためのシミュレータは、理想的なデモンストレーションだけでなく、誤ったアクションがもたらす結果も再現できなければならないからです。
長期ロールアウトの安定性を向上させるため、トレーニングプロセスでは教師モデルの時間スパンを段階的に増やしていきます。まず12フレームのスパンでトレーニングを行い、その後72フレームに達するまで段階的に増やします。スパンを増やすたびに、事前学習済みの重みを用いてウォームアップ後のモデルを初期化します。
2.2. 因果ウォームアップ
まず、教師モデルのノイズ除去軌跡を事前に計算してキャッシュします。次に、教師モデルを用いて因果生徒モデルを初期化し、これらのキャッシュされた軌跡を模倣するようにトレーニングします