
GHARP:基于大规模重建先验的实时高斯头部动画

GHARP 是实时 3D 人头动画方法。输入是某人的几张图像和一个驱动表情信号,输出是与表情同步的 3D 人头。它把问题拆成两个阶段:身份阶段离线构建这个人的几何和外观表示;动画阶段在运行时预测表情相关的残差。这样身份阶段可以做得昂贵,动画阶段只需要一个面向移动端优化的轻量网络。分离带来的是保真度、质量和运行时间之间更好的取舍。
动画过程发生在一个预训练重建模型的语义结构化潜空间里。在这个空间里,表情变化在空间上是局部的,所以残差预测很高效。重建先验还提供一致的空间布局,使多个输入视图能融合成一个紧凑、固定大小的规范高斯表示。这意味着多视图信息可以被压缩到一个统一结构里,给后续动画带来稳定基础。
但这种两阶段设计没有摆脱表情驱动虚拟化身方法共有的毛病:表情编码只描述面部,不包含身体姿态和衣物位置,导致这些区域在输入里欠定义。动画网络面对的是一个病态映射,只能对冲突的身体外观做平均,结果就是模糊和时间上的闪烁。作者用身体对齐网络解决这个问题。它学习把目标图像中的身体对齐到输入参考图像,从训练信号中消除这种歧义,使网络不用再猜测身体应该长什么样。
实验结果方面,GHARP 在 Ava-256 基准上取得当前最优质量,同时在 A100 GPU 上运行速度快最多 13 倍,使用的 3D 高斯数量仅为对比方法的 1/8。论文所有作者标注为同等贡献。


