并行生成网络的红外—可见光图像转换

作者：余佩伦; 施佺; 王晗^*

来源：中国图象图形学报, 2021, 26(10): 2346-2356.

• 模态转换
• 残差网络
• 稠密网络
• 线性插值融合
• 并行生成器网络

目的针对现有图像转换方法的深度学习模型中生成式网络(generator network)结构单一化问题,改进了条件生成式对抗网络(conditional generative adversarial network,CGAN)的结构,提出了一种融合残差网络(ResNet)和稠密网络(DenseNet)两种不同结构的并行生成器网络模型。方法构建残差、稠密生成器分支网络模型,输入红外图像,分别经过残差、稠密生成器分支网络各自生成可见光转换图像,并提出一种基于图像分割的线性插值算法,将各生成器分支网络的转换图像进行融合,获取最终的可见光转换图像;为防止小样本条件下的训练过程中出现过拟合,在判别器网络结构中插入dropout层;设计最优阈值分割目标函数,在并行生成器网络训练过程中获取最优融合参数。结果在公共红外—可见光数据集上测试,相较于现有图像转换深度学习模型Pix2Pix和Cycle GAN等,本文方法在性能指标均方误差(mean square error,MSE)和结构相似性(structural similarity index,SSIM)上均取得显著提高。结论并行生成器网络模型有效融合了各分支网络结构的优点,图像转换结果更加准确真实。

• 单位
  南通大学; 土木工程学院