潜在低秩表示下的双判别器生成对抗网络的图像融合

作者：袁代玉; 袁丽华; 习腾彦; 李喆

来源：光学精密工程, 2023, 31(07): 1085-1095.

DOI：10.37188/OPE.20233107.1085

• 红外图像
• 可见光图像
• 潜在低秩表示
• 改进双判别器生成对抗网络
• 图像评价

为了改善红外与可见光图像融合的视觉效果，通过潜在低秩表示将两种不同源的图像分别分解为各自的低秩分量和去除噪声的稀疏分量，采用KL变换确定权重对稀疏分量进行加权融合得到融合稀疏图。再对双判别器的生成对抗网络重设计，借助VGG16网络提取两种源的低秩分量特征作为该网络的输入，通过生成器和判别器的博弈来生成融合低秩图。最后，将融合稀疏图与融合低秩图进行叠加获得最终的融合结果。实验结果表明，在TNO数据集上，与所列的5种先进方法相比，本文所提出的方法在熵、标准差、互信息、差异相关性总和及多尺度结构相似度5种指标上均获得最优结果，相比于次优值，5种指标分别提高了2.43%,4.68%,2.29%,2.24%,1.74%。在RoadScene数据集上只在差异相关性总和及多尺度结构相似度两种指标上取得最优，另外3种指标仅次于GTF(gradient transfer and total variation minimization)方法，但图像视觉效果明显优于GTF方法。综合主观评价和客观评价分析，本文所提方法确实能获得高质量的融合图像，与多种方法相比具有明显的优势。

• 单位
  南昌航空大学; 沈阳黎明航空发动机有限责任公司