利用属性控制的人脸图像修复

作者:张繁; 叶凯威; 王鹿鸣; 刘泽润; 王章野
来源:计算机辅助设计与图形学学报, 2022, 34(07): 1085-1094.

摘要

人脸图像修复在刑事侦查、医疗美容、安防等领域有着重要的应用价值,但是传统已有工作大多基于扩散和纹理方法,均未有效地利用人脸图像已有的属性知识和语义信息,图像真实性和语义不一致问题较为突出.因此,提出一种基于属性控制的人脸图像修复方法.首先通过改进生成对抗网络,加入额外人脸属性信息以及分类网络,实现了在修复人脸图像的同时控制人脸面部特征;然后加入基于多尺度特征融合的注意力模块,在几乎不增加复杂度的同时通过增大神经网络的感受野获得更多全局特征,以提升人脸图像修复质量.结合MAE, PSNR, SSIM和FID这4项评价指标,在CelebA数据集上的实验结果表明,本文方法通过有效的语义引导,不仅可以保证人脸图像修复质量,还可以基于属性修改人脸面部特征.