跳转到内容
主站 新闻 控制台

# NVIDIA Cosmos3-H-Dreams:通过生成式仿真逼真重现临床手术

· Hugging Face
教程模型卡

想象一下,在一个能够实时响应的生成式手术场景中,移动 Cadiere 抓钳,夹取胆囊并将其提起。今天,我们迈出了下一步,正式推出 Cosmos3-H-Dreams,以迄今为止最具真实感的体内成像效果,将交互式生成模拟(interactive generative simulation)引入临床手术在视觉与操作流程层面的复杂场景中。

我们基于 Cosmos-Predict2.5 发布的首个版本 Cosmos-H-Dreams,将交互式生成模拟引入到了达芬奇研究套件(dVRK)台面缝合任务中,这是手术机器人领域的基础试验场。作为世界基础模型(World Foundation Model, WFM),Cosmos-H-Dreams 展示了传统数值仿真的替代方案:它无需显式建模场景几何、组织形变和物理交互,而是直接从同步的视频与机器人运动学(kinematics)数据中学习视觉动力学,从而实现了高度逼真的交互式台面任务模拟。

今天,Cosmos3-H-Dreams 进一步提升了这一能力,通过学习在 CMR Surgical Versius 平台上进行临床手术过程中记录的视频和机器人运动学数据。据我们所知,这是首个在临床胆囊切除术(cholecystectomy)记录上训练、并支持实时运动学控制的实时生成式手术模拟器。在 Cosmos 3 的加持下,并依托 NVIDIA 的加速流式推理库 FlashDreams,Cosmos3-H-Dreams 仅需单张 NVIDIA RTX PRO 6000 GPU 即可实现交互式运行。

视频 1


1. 从台面任务到临床场景

在类似 Cosmos-H-Dreams 所处的受控台面环境中,器械操作的背景相对简单。然而在人体内部,器械的微小移动就可能牵动整个场景:组织在拉拽下形变伸展、反光发生变化、解剖结构受到遮挡,手术烟雾也会影响视野能见度。在给定初始图像和输入工具动作的情况下,生成式模拟器在生成每个新的视频块时,既要捕捉这些动态响应,又要维持解剖结构与器械的一致性。微小的误差可能会随着时间推移而不断累积,从而逐渐改变……