基于生成对抗网络的图像场景转换

作者：罗嗣卿; 陈慧

来源：计算机工程, 2023, 49(04): 217-225.

DOI：10.19678/j.issn.1000-3428.0066077

• 图像处理
• 图像转换
• 生成对抗网络
• 场景转换
• 注意力机制

由于时间、地点、摄影设备等因素的限制，导致在真实世界中很难获得内容相同而场景不同的图像，一种可行方式是利用生成对抗网络（GAN）在没有成对数据集的情况下对图片中的场景进行转换，但是已有基于GAN的图像场景转换方法主要关注单个类别、单向、结构简单的场景。为了解决具有丰富类别和高度复杂语义结构的图像场景转换问题，提出一种基于GAN的图像场景转换模型，以实现晴天、雨天、雾天等不同场景之间的转换。将GAN、注意力模块和场景分割模块相结合，使模型正确识别并转换感兴趣区域同时保持其他区域不变。为了进一步提高输出的多样性，提出一种新型的正则化损失来抑制潜在噪声。此外，为了避免因缺乏噪声约束而出现的模态崩溃问题，在鉴别器中嵌入噪声分离模块。实验结果表明，相较CycleGAN、UNIT、MUNIT、NICE-GAN等6种对比模型，该模型所生成图像的FID得分和KID得分平均分别提高约7.25%和19%，其能够在不同场景下生成视觉效果更佳的图像。

• 单位
  东北林业大学