基于掩码预测和多尺度上下文聚合的人脸图像修复算法

作者：孙剑明; 吴金鹏^*; 沈子成; 彭俄祯

来源：无线电工程, 2023, 53(10): 2251-2260.

• 图像生成
• 图像修复
• 生成式对抗网络
• 掩码预测
• 多尺度上下文聚合

针对现有图像修复算法存在生成不合理的内容和修复后纹理不清晰等问题，在生成对抗网络(Generative Adversarial Network, GAN)的框架下，提出了一种基于掩码预测和多尺度上下文聚合的人脸图像修复算法。算法通过堆叠多层的多尺度上下文聚合模块(Multi-Scale Context Aggregation Module, MSCAM)构造的生成器进行特征提取，MSCAM融合了来自不同感受野的特征，可以捕捉遥远距离的上下文信息和感兴趣的模式进行上下文推理。使用掩码预测的PatchGAN(Mask Prediction-PatchGAN,MP-PatchGAN)判别器，迫使判别器区分真实和生成的Patch的纹理细节。使用跳跃连接将编码器中每一层卷积层的输出与解码器对应位置的输入在通道维度上拼接，使图像的上下文信息向更高层分辨率特征图传播。使用对抗损失对判别器训练，使用L1损失、对抗损失、感知损失和风格损失的加权联合损失函数对生成器进行训练，并在公开数据集CelebA-HQ下进行实验。实验结果表明，所提修复算法在破损比例为20%～30%掩码下的L1损失为0.015 2,峰值信嗓比(Peak Signal to Noise Ratio, PSNR)为28.57,结构相似性(Structural Similarity, SSIM)为0.905,弗雷歇初始距离(Frechet Inception Distance, FID)为4.48,该算法能够有效修复人脸图像且修复结果语义一致性高、纹理细节清晰。

• 单位
  哈尔滨商业大学