基于卷积神经网络结合NSCT的红外与可见光图像融合

作者：曹宇彤; 宦克为^*; 薛超; 韩丰地; 李向阳; 陈笑

来源：红外技术, 2023, 45(04): 378-385.

• 图像融合
• 卷积神经网络
• 非下采样轮廓波变换
• 模糊逻辑

传统红外与可见光融合图像在复杂环境下存在细节缺失，特征单一导致目标模糊等问题，本文提出一种基于卷积神经网络结合非下采样轮廓波变换（non-subsampled contourlet transform,NSCT）的红外与可见光图像进行融合的方法。首先，通过卷积神经网络提取红外与可见光目标特征信息，同时利用NSCT对源图像进行多尺度分解，得到源图像的高频系数与低频系数；其次，结合目标特征图利用自适应模糊逻辑与局部方差对比度分别对源图像高频子带与低频子带进行融合；最后，通过逆NSCT变换得到融合图像并与其他5种传统算法进行对比；实验结果表明，本文方法在多个客观评价指标上均有所提高。

• 单位
  物理学院; 长春理工大学