Depth Pro 2:锐利且时间一致的度量单目深度估计

Depth Pro 2 是一项新的单目深度估计研究,作者包括 Peiyun Hu、Marko Mihajlovic、Lyndon Duong、Lahav Lipson、Wei Dong、Amaël Delaunoy、Stephan R. Richter 与 Vladlen Koltun。目标是:从普通相机拍摄的图像中估计每个像素的深度,以米为单位。

作者先分析了已有方法,发现它们普遍面临一个取舍:多帧方法偏向时间一致性,但边界不够锐利;单帧方法偏向锐利,却缺少帧间稳定。Depth Pro 2 的应对是训练一个单一、可扩展的网络,同时接受图像和视频输入,直接预测原生分辨率深度图。据作者称,其输出在度量准确度、边界锐度、时间一致性三个维度同时优于此前工作。

团队发布了一族模型,在度量精度、锐度、时间一致性和运行时间上定义了新的帕累托前沿,代码和权重已公开。使用上,一张照片、整段视频、实时相机流都由同一个网络处理,直接以输入原始分辨率输出,物体边缘锐利,帧间稳定。

页面还列出了两项相关研究。SHARP 做单张照片的视图合成,一次前馈把场景回归成 3D 高斯表示,标准 GPU 上不到一秒,之后可实时渲染高分辨率照片级真实感图像。Depth Pro 是零样本度量单目深度估计基础模型,不依赖相机内参,标准 GPU 上 0.3 秒生成 2.25 兆像素深度图。

Depth Pro 2: Sharp and Temporally Consistent Metric Monocular Depth

查看原文