科研之友
微信
新浪微博
Facebook
分享链接
摘要
为解决低照度和烟雾等恶劣环境条件下融合图像目标对比度低、噪声较大的问题，提出一种模态自适应的红外与可见光图像融合方法（mode adaptive fusion, MAFusion）。首先，在生成器中将红外图像与可见光图像输入自适应加权模块，通过双流交互学习二者差异，得到两种模态对图像融合任务的不同贡献比重；然后，根据各模态特征的当前特性自主获得各模态特征的相应权重，进行加权融合得到融合特征；最后，为了提高模型的学习效率，补充融合图像的多尺度特征，在图像融合过程中加入残差块与跳跃残差组合模块，提升网络性能。在TNO和KAIST数据集上进行融合质量测评，结果表明：主观评价上，提出的方法视觉效果良好；客观评价上，信息熵、互信息和基于噪声的评价性能指标均优于对比方法。
- 单位
