基于边缘与注意力跨层转移的图像修复模型

作者：樊瑶; 石英男; 柏劲咸

来源：计算机工程, 2023, 49(06): 180-192.

DOI：10.19678/j.issn.1000-3428.0064758

• 图像修复
• 边缘修复
• 扩张卷积
• 注意力跨层转移网络
• 跳跃连接

针对现有基于深度学习的图像修复算法在处理大面积不规则缺损图像时出现局部结构不连通与模糊的问题，提出一种基于边缘和注意力跨层转移的二阶生成式图像修复模型。该模型由边缘修复网络和图像修补网络构成，边缘修复网络在自编码器的基础上结合扩张卷积对缺损图像的边缘二值图进行修复，并将边缘修复图作为先验条件与缺损图像一起输入到图像修补网络，在图像修补网络中，给出注意力跨层转移网络对各尺度编码特征由深到浅进行重构，并将重构特征图跳跃连接至解码层与对应潜在特征融合进行解码，提高各级解码层输出的上下文一致性，减少结构信息和语义特征丢失，最终得到修复图像。在Celeba、Facade、Places2这3个数据集上的实验结果表明，与当前主流算法相比，该方法平均L1损失降低了1.044%～3.801%，峰值信噪比和结构相似性分别提升了1.435～4.486 dB和1.789%～8.755%，不仅能够生成整体语义合理的内容，而且在局部结构连通性和纹理合成方面更符合人眼视觉感受。

• 单位
  西藏民族大学