一种注意力机制的多波段图像特征级融合方法

作者：杨晓莉; 蔺素珍^*

来源：西安电子科技大学学报, 2020, 47(01): 120-127.

DOI：10.19665/j.issn1001-2400.2020.01.017

• 图像融合
• 深度学习
• 多波段图像
• 特征级融合
• 注意力机制
• 生成对抗网络

针对多波段同步融合图像普遍存在的清晰度不高、图像细节不丰富的问题,提出一种基于注意力机制生成对抗网络的图像特征级融合方法。首先,利用多波段特征图与其均值的差值构建注意力权重图,通过特征图与注意力权重图的点乘和相加获得特征增强图,以此构建特征增强模块;其次,设计特征级融合模块,将多波段特征增强图连接,通过归一化、上采样、卷积等操作重构融合图像;最后,将特征增强模块和特征融合模块级联建立生成器,并以VGG-16作为判别器构建生成对抗网络,以实现多波段图像端到端融合。实验结果表明,与当前经典的融合方法相比,所提出方法的平均梯度最为突出,验证了该方法的有效性。

• 单位
  中北大学