一种增强的3D人脸替换方法

作者：蒋珂; 谭晓阳^*

来源：陕西师范大学学报(自然科学版), 2023, 51(05): 67-74.

DOI：10.15983/j.cnki.jsnu.2023028

• 人脸替换
• 3D人脸重建
• 纹理修复
• 生成对抗网络
• 自监督学习

针对3D人脸重建方法在贴图时忽视对纹理处理的设计，仅进行仿射变换和插值，其中仿射变换会导致其生成图像的高频分量遭到损坏，尤其是给出嘴部姿态不同的源、目标人像时，会造成人像的嘴部纹理缺失，而插值方法会造成灰度不连续现象；提出一种增强的3D人脸替换方法，称为基于生成-重建的人脸替换(generative reconstructed face swap, GRFS)。GRFS将对抗生成网络应用于对3D人脸替换结果的纹理修复，包括两个子网络：嘴部修复网络(mouth restoration network, MRN)以及局部修复生成网络(generative local restoration network, GLRN)。MRN用于修复人像的嘴部细节，GLRN用于修复3D人脸重建过程中损坏的高频分量，并使得异常的不连续灰度变得光滑。实验结果表明，GRFS可以在给定单对源、目标人像的情况下生成逼真的人脸替换结果，且在不同实验环境下的表现好于主流人脸替换算法。

• 单位
  南京航空航天大学; 工业和信息化部