摘要
图像修复在照片的编辑、去除等方面有着广泛地应用。针对现有深度学习图像修复模型因受卷积算子感受野局限性的影响,导致修复结果存在结构扭曲或纹理模糊的问题,提出一种局部优化生成模型LesT-GAN,该模型由生成器和鉴别器两部分组成。其中,生成器部分由局部增强滑动窗口Transformer模块构成,该模块将深度卷积的平移不变性、局部性优势与Transformer的全局信息建模能力相结合,既能够覆盖较大范围的感受野又能实现局部细节的优化。鉴别器部分是一种基于掩码指导和补丁的相对平均鉴别器,通过估计给定的真实图像比生成图像更真实的平均概率,模拟缺失区域边界周围的像素传播,使生成器训练时能够直接借助真实图像生成更清晰的局部纹理。在Places2,CelebA-HQ和PairsStreet的3种数据集上,与其他先进的图像修复方法进行对比实验,LesT-GAN在L1和FID评价指标方面分别有10.8%和41.36%的提升。实验结果表明,LesT-GAN在多个场景中有更好的修复效果,同时能很好地泛化到比训练时分辨率更高分辨率的图像中。