- 1. 从手术世界模型到交互式模拟器
- 2. 将 Cosmos-H-Surgical-Simulator 蒸馏为实时模型 2.1. 手术教师模型
- 2.2. 因果预热
- 2.3. 自强制蒸馏
- 3. FlashDreams：实时推理引擎
- 4. 适配你自己的数据
- 5. 下一步：迈向闭环手术物理 AI
- 6. 今天就开始使用
手术机器人技术正在迅速从远程操作迈向更强大的视觉-语言-动作策略。但对这些系统进行评估和训练仍然很困难。物理机器人平台的运行成本高，实验复现速度慢，而失败可能会损坏器械或生物材料。传统仿真器提供了一种更安全的替代方案，但手术场景异常难以建模：可变形组织、精细的器械交互、镜面反射表面、缝线、针、烟雾以及遮挡等因素都很重要。
世界基础模型提供了另一条路径。它们不需要手工为每个对象和物理交互编写规则，而是直接从同步视频和机器人运动学中学习视觉动力学。NVIDIA 的 Cosmos-H-Surgical-Simulator 展示了这一方法：它可以根据初始场景和一系列机器人动作生成未来的手术视频。这使其能够在 Open-H-Embodiment 生态中实现快于真实世界的评估和合成数据生成。
今天，我们介绍下一步：Cosmos-H-Dreams，一个面向手术机器人的实时、动作条件生成式模拟器。Cosmos-H-Dreams 将 Cosmos-H-Surgical-Simulator 的能力蒸馏为一个因果、少步数的学生模型，并通过 NVIDIA 的加速流式推理库 FlashDreams 提供服务。它可以在单块 NVIDIA RTX PRO 6000 GPU 上运行，形成一个人类或学习到的策略都能闭环控制的交互式环境。
1. 从手术世界模型到交互式模拟器
Cosmos-H-Surgical-Simulator 是一个动作条件世界基础模型，基于 NVIDIA Cosmos-Predict2.5-2B 构建，并在 Open-H-Embodiment 数据集上进行后训练。给定一帧手术上下文图像和未来的机器人轨迹，它会生成展示这些动作可能带来的视觉后果的视频。这使它可用于离线策略评估和合成数据生成。可以将记录好的轨迹或策略生成的轨迹输入模型，生成相应的 rollout，并在不反复在真实机器人上执行动作的情况下检查或打分结果。
Cosmos-H-Dreams 将模型推进到实时阶段。基于 Cosmos-H-Surgical-Simulator 学到的多具身手术先验，我们将模型专门适配到 da Vinci Research Kit（dVRK）桌面缝合任务，并将其蒸馏为一个因果学生模型，以自回归方式生成场景。发布的模型接收初始 RGB 帧和实时机器人运动学流，然后生成下一段帧，再继续处理后续动作块。
我们还与 CMR Surgical 和 Cambridge Consultants 合作，展示了 Cosmos-H-Dreams 的通用性，将其集成到 Versius 外科医生控制器中，从而实现了在 Versius 平台上的实时运行。
2. 将 Cosmos-H-Surgical-Simulator 蒸馏为实时模型
关键挑战是在降低生成成本的同时保留有用的手术动力学。Cosmos-H-Dreams 采用面向长自回归 rollout 的教师-学生训练流程。
2.1. 手术教师模型
双向教师模型从 Cosmos-H-Surgical-Simulator 的 Open-H 检查点开始，该检查点使用统一的 44 维动作表示。对于发布的 dVRK 桌面模型，将双臂 dVRK 的动作内容——包括相对末端执行器平移、旋转和夹爪状态——映射到这一通用表示中。
随后，教师模型在 JHU dVRK 桌面混合数据集上进行微调，其中包括成功演示，以及失败和分布外事件，例如掉针、抛掷失败和打结失败。这些失败非常重要：一个用于评估策略的模拟器必须能复现错误动作的后果，而不仅仅是理想演示。
为提升长 rollout 的稳定性，训练过程会逐步增加教师模型的时间跨度。我们先在 12 帧跨度上训练，然后逐步增加，直到 72 帧。每次跨度提升时，都会用预训练权重初始化热身后的模型。
2.2. 因果预热
首先预先计算并缓存教师模型的去噪轨迹。然后以教师模型初始化一个因果学生模型，并训练它模仿这些缓存轨迹。这个预热阶段让学生模型在开始学习自身生成历史之前，先学会使用因果注意力和流式 KV 缓存进行推理。
2.3. 自强制蒸馏
自回归模型面临一个熟悉的问题：训练时它们可能看到干净的真实上下文，而部署时必须依赖自己不完美的输出。因此，小错误会随着时间不断累积。
Cosmos-H-Dreams 通过 自强制蒸馏 解决这一不匹配问题。训练过程中，学生模型使用自身生成的上下文向前展开。随后，来自冻结教师模型的分布匹配监督会引导这些自生成的 rollout 朝真实的手术视频靠近。这使学生模型为交互式推理时将遇到的相同条件做好准备。
由此得到的模型支持少步扩散，每个潜变量帧的去噪步数可少至两步，而不是完整教师模型使用的多步流程。它将教师模型的手术先验与流式处理所需的因果结构结合起来。
3. FlashDreams：实时推理引擎
模型蒸馏只是实现实时性的其中一部分。Cosmos-H-Dreams 通过 FlashDreams 提供服务，后者是面向自回归世界模型和视频模型的加速推理库。
FlashDreams 通过多种互补优化，将蒸馏后的学生模型转变为低延迟流式系统，例如流式 KV 缓存、CUDA Graph 捕获或模型编译。
这些技术结合起来，将蒸馏