联合卷积神经网络和转换器的红外与可见光图像融合

作者：杨阳; 任振南; 李北辰

来源：激光与光电子学进展, 2022, 1-21.

• 图像融合
• 卷积神经网络
• 转换器
• 注意力机制
• 红外图像

为解决在红外与可见光图像融合领域中，卷积神经网络（ConvolutionalNeural Network,CNN）无法建模源图像内部的全局语义相关性，对于图像上下文信息利用不充分等问题，创新性的提出了一种联合卷积神经网络和转换器（Transformer）的图像融合模型。首先，为了弥补CNN无法建立长程依赖关系的缺陷，提出了联合CNN和Transformer的编码器，加强了对多个局部区域间相关性的特征提取，提高了模型对图像局部细节信息的提取能力。其次，提出了一种基于模态最大差异度的融合策略来强化融合过程中对源图像不同区域信息的自适应表达，提升了融合图像的对比度。最后，在TNO公开数据集上，联合多种对比算法对本文所提的融合模型进行了实验验证。实验结果表明，在主观视觉效果和客观评价指标两方面的评估上，本文模型与现有融合方法相比都具有明显优势。此外，通过消融实验，本文分别对提出的联合编码器以及融合策略进行了有效性分析，实验结果证明了所提出的设计思想在红外可见光图像融合任务上是有效的。

• 单位
  天津大学