リアルタイムに応答する生成型手術シミュレーション空間で、Cadiere 把持鉗子を操作し、胆嚢を把持して持ち上げる様子を想像してみてください。本日、私たちは次なる一歩を踏み出し、Cosmos3-H-Dreams を正式にリリースしました。これまでで最もリアルな体内画像表現により、インタラクティブな生成シミュレーション(interactive generative simulation)を、臨床手術の視覚的・手技的な複雑シーンへと導入します。
Cosmos-Predict2.5 をベースとした最初のリリースである Cosmos-H-Dreams では、手術支援ロボット分野の基礎的な実験プラットフォームである da Vinci Research Kit(dVRK)を用いた卓上縫合タスクに、インタラクティブな生成シミュレーションを導入しました。世界基盤モデル(World Foundation Model: WFM)として、Cosmos-H-Dreams は従来の数値シミュレーションに代わるアプローチを示しました。シーンのジオメトリ、組織の変形、物理的な相互作用を明示的にモデリングすることなく、同期されたビデオとロボットのキネマティクス(kinematics、運動学)データから直接ビジュアルダイナミクスを学習することで、極めてリアルでインタラクティブな卓上タスクのシミュレーションを実現しています。
そして本日、Cosmos3-H-Dreams はこの能力をさらに進化させました。CMR Surgical Versius プラットフォームで実施された臨床手術中に記録されたビデオとロボットのキネマティクスデータを学習しています。私たちが知る限り、これは臨床における胆嚢摘出術(cholecystectomy)の記録に基づいてトレーニングされ、リアルタイムのキネマティクス制御をサポートする初のリアルタイム生成型手術シミュレータです。Cosmos 3 を基盤とし、NVIDIA の高速ストリーミング推論ライブラリ FlashDreams を活用することで、Cosmos3-H-Dreams は単一の NVIDIA RTX PRO 6000 GPU だけでインタラクティブな実行が可能です。
1. 卓上タスクから臨床シーンへ
Cosmos-H-Dreams が対象としていたような制御された卓上環境では、器具を操作する背景は比較的シンプルです。しかし人体内部では、器具のわずかな動きがシーン全体に影響を及ぼす可能性があります。組織は牽引によって変形・進展し、光の反射が変化し、解剖構造が遮蔽され、手術用煙(サージカルスモーク)が視野の視認性を低下させます。初期画像と入力された器具の動作が与えられた際、生成型シミュレータは新しい動画チャンクを生成するたびに、こうした動的な反応を捉えつつ、解剖学的構造と器具の整合性を維持しなければなりません。わずかな誤差であっても時間の経過とともに蓄積し、次第に……