融合监督注意力和跨阶段特征融合的图像修复改进网络

作者：黄巧玲; 郑伯川^*; 丁梓成; 吴泽东

来源：计算机应用, 2023, 1-7.

• 图像修复
• 两阶段网络
• 跨阶段特征融合机制
• 监督注意力模块
• 门控卷积

非规则缺失区域的图像修复技术用途广泛但具有挑战性。针对现有修复方法对高分辨率图像可能会产生伪影、扭曲结构和模糊纹理的问题，本文提出一种融合监督注意力和跨阶段特征融合的图像修复改进网络（Gconv＿CS）。在Gconv的两阶段网络模型上，引入了跨阶段特征融合（CSFF）与监督注意力（SAM）模块。CSFF将上阶段编码器-解码器的特征融合后送入到下阶段的编码器中，以弥补上阶段修复中特征信息的损失。SAM通过提供真实图像监督信号，对上阶段输出特征进行监督，确保传入下阶段特征信息的有效性。实验表明，Gconv＿CS相对基线模型Gconv，在CelebA-HQ数据集上峰值信噪比（PSNR）和结构相似性指数（SSIM）分别提高了56%和0.5%,Fréchet起始距离（FID）和L1损失分别降低了19%、4%，同时在Place2数据集上，前2个指标分别提高了86%和0.8%，后2个指标分别降低了12%、25%。将Gconv＿CS用于去除大熊猫面部遮挡物时，取得了较好的修复视觉效果。

• 单位
  西华师范大学