基于改进生成对抗网络模型的红外与可见光图像融合

作者：王海宁; 廖育荣; 林存宝^*; 倪淑燕

来源：电讯技术, 2023, 63(03): 307-313.

DOI：10.20079/j.issn.1001-893x.220126002

• 图像融合
• 红外与可见光图像
• 生成对抗网络(GAN)
• 深度可分离卷积

为增强融合图像的视觉效果，减少计算的复杂度，解决传统红外与可见光图像融合算法存在的背景细节丢失问题，提出了一种生成对抗网络框架下基于深度可分离卷积的红外与可见光图像融合方法。首先，在生成器中对源图像进行深度卷积与逐点卷积运算，得到源图像的特征映射信息；其次，通过前向传播的方式更新网络参数，得到初步的单通道融合图像；再次，在红外及可见光判别器中，使用深度可分离卷积分别对源图像与初步融合图像进行像素判别；最后，在损失函数的约束下，双判别器不断将更多的细节信息添加到融合图像中。实验结果表明，相比于传统的融合算法，该方法在信息熵、平均梯度、空间频率、标准差、结构相似性损失和峰值信噪比等评价指标上分别平均提高了1.63%、1.02%、3.54%、5.49%、1.05%、0.23%,在一定程度上提升了融合图像的质量，丰富了背景的细节信息。

• 单位
  中国人民解放军装备学院