NVIDIA Cosmos-H-Dreams:实时生成模拟用于手术机器人

手术机器人正从遥操作转向视觉-语言-动作策略,但训练和评估这些系统依然困难:物理平台成本高、实验复现慢、失败可能损坏器械或生物组织。传统模拟器虽然安全,却难以建模可变形组织、精细器械交互、镜面表面、缝合线、针、烟雾、遮挡等复杂场景。

世界基础模型提供了一条不同路径:直接从同步视频和机器人运动学学习视觉动力学。NVIDIA 的 Cosmos-H-Surgical-Simulator 通过初始场景和动作序列生成未来视频,实现了超物理速率的离线评估和合成数据生成。今天发布的 Cosmos-H-Dreams 将其推向实时:将 Cosmos-H-Surgical-Simulator 蒸馏为因果、少步的学生模型,并通过 FlashDreams 加速推理库提供服务。在单张 NVIDIA RTX PRO 6000 GPU 上,生成速度从标准推断的约 10 帧/秒提升到 ~160 帧/秒,实现了人机闭环交互。

蒸馏的关键是保持手术动力学同时降低生成成本。教师模型基于 Cosmos-H-Surgical-Simulator 的 Open-H 检查点,使用统一 44 维动作表示,并在 JHU dVRK 桌面缝合数据集上微调,包括成功演示和失败轨迹(如掉针、抛接失误、未打结)。为提升长卷积极稳定性,训练过程逐步增加教师模型的时间范围(从 12 帧到 72 帧)。

学生模型经历因果预热和自强制蒸馏。先在预计算教师去噪轨迹上训练学生学会因果注意力和流式 KV 缓存;再通过自强制蒸馏,让学生用自己的生成上下文滚动,冻结教师提供分布匹配监督,解决训练-部署不匹配问题。最终学生模型支持 两步去噪(每潜帧仅需两个去噪步),而非教师的多次步。

FlashDreams 通过流式 KV 缓存、CUDA Graph 捕获、模型编译等优化,将蒸馏后的学生模型转为低延迟流式系统。它还提供人机接口:浏览器客户端可通过 WebRTC 发送键盘命令接收生成帧,Meta Quest 客户端可将控制器运动映射为机器人动作并通过 WebXR 显示合成场景,或直接连接学习到的策略形成闭环。

Cosmos-H-Dreams 已与 CMR Surgical 和 Cambridge Consultants 合作,集成到 Versius 手术控制器,验证了其跨平台能力。预训练检查点面向桌面缝合,但系统可扩展至用户自有数据,NVIDIA 提供了完整微调和蒸馏配方。

下一步需要评估超越视觉质量的指标:工具尖端位置和姿态精度、夹钳周期保真度、闲置稳定性、反事实动作多样性、长久漂移、模拟与真实策略结果的一致性。实时世界模型可用于生成罕见故障、提供可扩展的强化/模仿学习环境、加速策略评估,避免每个实验都依赖稀缺的物理机器人。未来应用包括延迟感知远程手术、交互式手术预演、术中决策支持。Cosmos-H-Dreams 是研究与开发平台,而非诊断系统、术中成像替代或物理机器人控制器。

NVIDIA Cosmos-H-Dreams: Bringing Real-Time Generative Simulation to Surgical Robotics

查看原文