科研之友
微信
新浪微博
Facebook
分享链接
摘要
为提升真实场景视觉信号的采集质量，往往需要通过多种融合方式获取相应的图像，例如，多聚焦、多曝光、多光谱和多模态等。针对视觉信号采集的以上特性，图像融合技术旨在利用同一场景不同视觉信号的优势，生成单图像信息描述，提升视觉低、中、高级任务的性能。目前，依托端对端学习强大的特征提取、表征及重构能力，深度学习已成为图像融合研究的主流技术。与传统图像融合技术相比，基于深度学习的图像融合模型性能显著提高。随着深度学习研究的深入，一些新颖的理论和方法也促进了图像融合技术的发展，如生成对抗网络、注意力机制、视觉Transformer和感知损失函数等。为厘清基于深度学习技术的图像融合研究进展，本文首先介绍了图像融合问题建模，并从传统方法视角逐渐向深度学习视角过渡。具体地，从数据集生成、神经网络构造、损失函数设计、模型优化和性能评估等方面总结了基于深度学习的图像融合研究现状。此外，还讨论了选择性图像融合这类衍生问题建模(如基于高分辨率纹理图融合的深度图增强),回顾了一些基于图像融合实现其他视觉任务的代表性工作。最后，根据现有技术的缺陷，提出目前图像融合技术存在的挑战，并对未来发展趋势给出了展望。
- 单位
