NVIDIA 发布了 Cosmos3-H-Dreams，一个面向临床胆囊切除术的交互式生成模拟器。它的前身 Cosmos-H-Dreams 能模拟 dVRK 桌面缝合，而新版本把学习数据换成 CMR Surgical Versius 平台上录制的临床手术视频与机器人运动学，从而把生成式模拟从桌面场景推进到体内场景。据 NVIDIA 称，这是第一个基于临床胆囊切除术录像、支持实时运动学控制的生成式手术模拟器。

在体内，器械的微小移动会牵动整个场景：组织被牵拉变形、反光变化、结构被遮挡、烟雾影响能见度。模拟器必须在生成每一段新视频时保持解剖结构和器械外观的稳定，同时让场景对平移、旋转、夹持指令产生符合解剖逻辑的响应。视觉逼真只是起点，动作跟随性才是交互环境的关键。

模型构建在 Cosmos3-H-Embodied-Nano 之上，这是一个 16B 参数、在 Open-H-Embodiment 上预训练的世界基础模型。NVIDIA 用精选的胆囊切除术视频和运动学数据对双向教师模型进行专门化。训练集聚焦两把可见且参与操作的器械——左侧 Cadiere 抓钳和右侧单极电钩，并限制相机动作以突出器械驱动。动作空间共 28 维：两只手臂的位姿和夹持器信息，外加能量控制、拇指杆轴和拇指杆按钮。训练视频分辨率为 832×480，动作以 10 Hz 对齐；这个采样率与运行时生成的吞吐量是两回事。

为了让模型支持长时自回归生成，训练管线采用教师-学生蒸馏。教师先适应 24 个未来帧（2.4 秒@10Hz），再扩展到 72 帧（7.2 秒）。随后蒸馏成因果学生模型：先用因果教师强制让其学会利用记录的真实上下文逐段生成，再用 Self-Forcing 训练它在自己生成的上下文上继续生成，由教师和一个学习到的批评者提供引导，以减少长程交互中误差累积。

发布的第一个学生 checkpoint 使用每段 4 步去噪；第二个 checkpoint 再用两步训练进一步蒸馏。两步模型是单独训练的，不是把四步模型直接减少采样步数。去噪步数越少，推理越快，但视觉质量相应下降。两个 checkpoint 让开发者自己权衡。

FlashDreams 提供加速流式推理运行时。长时滚动生成时，模型注意力历史会不断增长；Cosmos3-H-Dreams 使用一个适配过的 FadeMem 模块来整合不断增长的 KV 缓存。Self-Forcing 解决的是“模型如何从自己生成的历史中学习”，缓存整合解决的是“这个历史在流式生成中如何存储”，两者互补。

在单张 NVIDIA RTX PRO 6000 GPU 上，模型即可交互式运行。演示中，两段视频从相同的初始帧出发，分别跟随 VR 头显记录的不同器械动作序列，生成不同的胆囊切除术场景延续，展示器械跟随控制、组织对交互的物理响应，以及解剖结构随时间的稳定性。

Cosmos3-H-Dreams 同时发布四步和两步两个 checkpoint，并给出完整的适配方法：包括数据准备、教师微调工具和 Self-Forcing 蒸馏步骤。社区可以把模型迁移到有自己的同步视频和兼容动作表示的数据集上。需要注意的是，控制器集成必须使用与训练时相同的动作约定和归一化方式。

原文明确标注这是研究模拟器，不是经验证可用于患者照护的系统。未来研究方向包括：覆盖完整手术流程、将生成式模拟与数值模拟结合以约束和验证形变、让外科医生参与评估并建立可复现基准、支持更多器械、以及让自主手术策略在闭环中学习胆囊切除术子任务。这些均为研究路线，不是已落地的临床能力。

Cosmos3-H-Dreams 的代码与模型检查点已发布在 GitHub 和 Hugging Face；FlashDreams、Cosmos 3 和 Open-H-Embodiment 等基础资源也开放了入口。