基于卷积神经网络的红外与可见光图像融合

作者：董安勇; 杜庆治^*; 苏斌; 赵文博; 于闻

来源：红外技术, 2020, 42(07): 660-669.

• 图像融合
• 卷积神经网络
• 参数自适应脉冲耦合神经网络
• NSST变换

非下采样剪切波变换(NSST)域中低频子带的融合需要人工给定融合模式,因此未能充分捕获源图像的空间连续性和轮廓细节信息。针对上述问题,提出了基于深度卷积神经网络的红外与可见光图像融合算法。首先,使用孪生双通道卷积神经网络学习NSST域低频子带的特征来输出衡量子带空间细节信息的特征图。然后,根据高斯滤波处理的特征图设计了基于局部相似性的测量函数来自适应地调整NSST域低频子带的融合模式。最后,根据NSST域高频子带的方差、局部区域能量以及可见度特征来自适应地设置脉冲耦合神经网络参数完成NSST域高频子带的融合。实验结果表明:该算法QAB/F指标略弱于对比算法,但SF、SP、SSIM以及VIFF指标分别提高了约50.42%、14.25%、7.91%以及61.67%,有效地解决了低频子带融合模式给定的问题,同时又克服了手动设置PCNN参数的缺陷。

• 单位
  昆明北方红外技术股份有限公司; 自动化学院; 昆明理工大学