结构与纹理双生成的二阶段网络图像修复

作者：石计亮; 张乾^*

来源：重庆工商大学学报(自然科学版), 2023, 1-12.

• 图像修复
• 二阶段网络
• 生成对抗网络
• 深度学习

【目的】 针对现有图像修复方法不能很好地实现结构和纹理信息之间的双向交互，在修复缺失面积较大或纹理复杂的图像时存在纹理模糊、结构失真等问题。【方法】 为此，提出了一种基于双向坐标注意融合模块和傅里叶特征聚合模块的二阶段网络图像修复方法。首先，使用结构编-解码器和纹理编-解码器对受损图像进行结构重建和纹理合成，产生初步的修复结果。然后，将粗修复结果输入到细化修复网络，利用双向坐标注意融合模块和傅里叶特征聚合模块对图像内部纹理细节进行修复。为增强全局一致性，设计了双向坐标注意融合模块来实现结构和纹理信息之间的双向交互。并设计了傅里叶特征聚合模块，用于捕获全局上下文信息，增强图像局部特征之间的相关性，以获得精细的修复结果。此外，还利用双流判别器来估计结构和纹理的特征统计量，以区分原始图像和生成图像。【结果】 在CelebA-HQ数据集上进行实验，与四种图像修复方法进行比较，定性结果表明该方法生成的人脸图像更加清晰自然；定量结果表明该方法在峰值信噪比、结构相似性指数和弗雷歇距离上均优于对比算法。对模型中各模块的消融实验结果也验证了所提出创新点的有效性。【结论】 因此，所提出的方法能够有效地修复受损的人脸图像，特别是在大面积遮挡下也能生成具有结构合理、纹理清晰的图像。

• 单位
  贵州民族大学