基于知识引导的遥感影像融合方法

作者：孔爱玲; 张承明^*; 李峰; 韩颖娟; 孙焕英; 杜漫飞

来源：自然资源遥感, 2022, 34(02): 47-55.

• 图像融合
• 先验知识
• 卷积神经网络
• 注意力机制
• 高分六号

遥感图像融合技术能够将含有互补信息的多源图像进行融合，从而得到内容更丰富、光谱质量更高的图像，是遥感应用的关键和基础。针对遥感影像融合过程中容易出现的光谱失真和空间结构失真问题，该文以注意力机制为基础，利用归一化植被指数(normalized difference vegetation index, NDVI)和归一化水指数(normalized difference water index, NDWI)作为先验知识，构建了基于知识引导的遥感影像融合模型(remote sensing image FuseNet, RSFuseNet)。首先，基于高通滤波能够充分提取边缘纹理细节的优势，构建了高通滤波模块提取全色图像高频细节信息；其次，提取多光谱图像的NDVI和NDWI信息；再次，构建自适应挤压激励(squeeze-and-excitation, SE)模块，对输入特征进行重标定；最后，将自适应SE模块与卷积单元结合，对输入特征进行融合处理。以高分六号遥感影像作为数据源，选择施密特正交化(gram-schmidt, GS)、主成分分析(principal component analysis, PCA)、深度网络结构的图像融合网络(a deep network architecture for pan-sharpening, PanNet)、以卷积神经网络为基础的融合网络(pansharpening by convolutional neural networks, PNN)模型作为对比模型开展实验，实验结果表明：该文提出模型的峰值信噪比(peak signal to noise ratio, PSNR)指标(40.5)和结构相似性(structural similarity, SSIM)指标(0.98)均优于对比模型，表明这一方法在遥感影像图像融合方面具有明显的优势。

• 单位
  山东农业大学; 山东省气候中心