一种基于NSCT与GoogLeNet的多传感器图像融合算法（英文）

作者：李阳雨; 王彩云^*; 姚晨

来源：Transactions of Nanjing University of Aeronautics & Astronautics, 2020, S1: 88-94.

DOI：10.16356/j.1005-1120.2020.S.011

• 图像融合
• 非下采样轮廓波变换
• GoogLeNet神经网络
• 红外图像
• 可见光图像

为提高多传感器融合图像的细节保持性与目标信息完整性,提出一种基于非下采样轮廓波变换(Non?Sub?sampling Contourlet transform,NSCT)与GoogLeNet神经网络模型相结合的异传感器图像融合算法。本文采用的异传感器图像为红外与可见光图像,首先将红外与可见光图像分别进行NSCT变换,分解得到一个低频子带系数和一系列多尺度、多方向的高频子带系数;然后将高频子带系数采用区域能量取大策略进行融合,将低频子带系数输入GoogLeNet神经网络模型中提取特征图,从特征图中自适应计算加权融合的权值矩阵参数,加权求和得到融合后的低频子带系数;最后经过NSCT逆变换得到融合图像。实验结果表明,该算法有效地提高了图像视觉效果,且在边缘保持度、互信息等客观指标上有明显提高。

• 单位
  南京航空航天大学; 航天学院