跨层交互与多源特征融合的遥感图像语义分割

作者:冯建华; 孟妮娜; 兰小机*; 吴启用; 张天亮
来源:遥感信息, 2023, 38(06): 50-59.
DOI:10.20091/j.cnki.1000-3177.2023.06.007

摘要

将数字表面模型提供的高程特征与光谱特征进行融合可以提高遥感图像的语义分割性能。然而,由于多模态数据特征之间存在显著差异,仅使用级联或者相加的方式对数据特征进行融合容易造成特征冗余和过量噪声。针对该问题,提出了一种跨层交互与多源特征自适应融合的语义分割网络CIMFANet。该网络在解码层实现对双模态特征的提取,采用密集的短跳跃连接进行跨层特征交互以防止空间细节信息的丢失,同时引入空洞空间金字塔池化模块提取跨层交互后的多尺度上下文特征。解码层使用多模态融合模块以自适应的方式融合来自双分支和前一层的特征。该方法在ISPRS提供的两个基准数据集上与其他方法进行对比实验。实验表明,该方法在某些地物要素方面具有更高的分割精度。

全文