科研之友
微信
新浪微博
Facebook
分享链接
摘要
图像修复在照片的编辑、去除等方面有着广泛地应用。针对现有深度学习图像修复模型因受卷积算子感受野局限性的影响，导致修复结果存在结构扭曲或纹理模糊的问题，提出一种局部优化生成模型LesT-GAN，该模型由生成器和鉴别器两部分组成。其中，生成器部分由局部增强滑动窗口Transformer模块构成，该模块将深度卷积的平移不变性、局部性优势与Transformer的全局信息建模能力相结合，既能够覆盖较大范围的感受野又能实现局部细节的优化。鉴别器部分是一种基于掩码指导和补丁的相对平均鉴别器，通过估计给定的真实图像比生成图像更真实的平均概率，模拟缺失区域边界周围的像素传播，使生成器训练时能够直接借助真实图像生成更清晰的局部纹理。在Places2,CelebA-HQ和PairsStreet的3种数据集上，与其他先进的图像修复方法进行对比实验，LesT-GAN在L1和FID评价指标方面分别有10.8%和41.36%的提升。实验结果表明，LesT-GAN在多个场景中有更好的修复效果，同时能很好地泛化到比训练时分辨率更高分辨率的图像中。
