科研之友
微信
新浪微博
Facebook
分享链接
摘要
红外和可见光图像的融合可以获得更为全面、丰富的信息。由于没有真实融合图像作参考，现有的融合图像数据集缺少融合图像作为监督条件，基于监督学习的训练方法无法应用于图像融合，现有的融合网络都是尽可能地在两个模态间找到平衡，因此提出一种基于环境光传输模型的多模态图像合成方法。基于NYU-Depth有标签数据集和其深度标注信息合成一组带有参考融合图像的红外和可见光多模态数据集，在条件GAN中设计边缘和细节损失函数，用合成的多模态图像数据集以端到端的方式训练该网络，最终获得一个融合网络。该网络可以使融合图像较好地保留可见光图像的细节和红外图像的目标特征，锐化红外图像热辐射目标的边界。在TNO公开数据集上与主流的IFCNN,DenseFuse, FusionGAN等方法对比，通过主观和客观的图像质量评价检验了该方法的有效性。
- 单位
