基于DWT和生成对抗网络的高光谱多光谱图像融合

作者：孙佳敏; 宋慧慧

来源：无线电工程, 2021, 51(12): 1434-1441.

• 离散小波变换
• 生成对抗网络
• 高光谱多光谱图像融合
• 焦点频率损失

低分辨率的高光谱图像与高分辨率的多光谱图像融合是提高高光谱图像空间分辨率的一种重要技术。卷积神经网络(Convolutional Neural Networks, CNN)在多光谱和高光谱图像融合中取得了一定的进展,然而,如何有效地挖掘高光谱图像的光谱信息和多光谱图像的空间信息仍然是一个具有挑战性的问题。针对此问题,提出了一种基于离散小波变换和生成对抗网络来融合高光谱图像和多光谱图像。生成器网络包括特征提取和融合重建2个部分,特征提取部分通过小波变换下采样和上采样模块提取高光谱图像的特征,同时获得光谱信息和频域信息;融合重建部分,通过多次上采样过程中融合多尺度的多光谱图像信息,重建出高分辨率高光谱图像。判别器网络以最终的融合重建图像和真值图像作为输入,使生成的高分辨率高光谱图像与真值图像尽可能地相似。损失函数中加入焦点频率损失,以缩小频域差距。在3个数据集上的实验结果表明,该方法与现有的深度学习方法相比有更好的性能。

• 单位
  自动化学院; 南京信息工程大学