基于傅里叶卷积和多特征调制的图像修复网络

作者：孙刘杰; 刘倩倩; 庞茂然

来源：包装工程, 2023, 44(21): 286-293.

DOI：10.19554/j.cnki.1001-3563.2023.21.036

• 图像修复
• 深度学习
• 感受野
• 傅里叶卷积
• 特征调制

目的 解决大面积破损难以修复且修复过程中感受野、特征空间信息利用不足，导致修复后的孔洞区域与背景之间出现结构、纹理、风格不一致的问题。方法 基于傅里叶卷积和多特征调制的修复网络FFC-MFMGAN，傅里叶卷积在网络的浅层便具有较大的感受野，尤其是在宽掩码时能够跳过掩码区域，捕获到有效特征，多特征调制生成网络能够分别利用完整区域的信息和随机样式操纵，增强与未受损区域的语义连贯性，以及大空洞率下修复的多样性。结果 在Place 2数据集上，将文中方法与其他图像修复方法进行了对比实验，经过测试，各类指标均得到明显改善，峰值信噪比提高了1.4%，结构相似性提高了4.5%，平均绝对误差降低了12.6%，基于学习的感知图像块相似性降低了9.1%。结论 FFC-MFMGAN网络能够较好地修复大面积不规则孔洞，同时增强修复图像的全局结构性和清晰度，对实际包装印刷图像的缺陷修复也有一定参考价值。

• 单位
  上海理工大学