基于相邻特征融合的红外与可见光图像自适应融合网络

作者：徐少平^*; 陈晓军; 罗洁; 程晓慧; 肖楠

来源：模式识别与人工智能, 2022, 35(12): 1089-1100.

DOI：10.16451/j.cnki.issn1003-6059.202212004

• 红外图像
• 可见光图像
• 图像融合
• 相邻特征融合
• 自适应权重

为了获得目标边缘清晰且细节丰富的红外与可见光融合图像，以前馈去噪卷积神经网络(Denoising Convolutional Neural Network, DnCNN)的骨干网络为基础，从网络架构和损失函数两方面对其进行全面改进，提出基于相邻特征融合的红外与可见光图像自适应融合网络(Adjacent Feature Combination Based Adaptive Fusion Network, AFCAFNet).具体地，采取扩大通道数及双分支特征交换机制策略将DnCNN前段若干相邻卷积层的特征通道进行充分交叉与融合，增强特征信息的提取与传递能力.同时，取消网络中所有的批量归一化层，提高计算效率，并将原修正线性激活层替换为带泄露线性激活层，改善梯度消失问题.为了更好地适应各种不同场景内容图像的融合，基于VGG16图像分类模型，分别提取红外图像和可见光图像梯度化特征响应值，经过归一化处理后，分别作为红外图像和可见光图像参与构建均方误差、结构化相似度和总变分三种类型损失函数的加权系数.在基准测试数据库上的实验表明，AFCAFNet在主客观评价上均具有一定优势.在各项客观评价指标中综合性能较优，在主观视觉效果上，在特定目标边缘上较清晰、纹理细节也较丰富，符合人眼视觉感知特点.

• 单位
  南昌大学附属感染病医院