遥感跨模态智能解译:模型、数据与应用

作者:付琨; 王佩瑾; 冯瑛超; 李俊希; 何琪彬; 肖思宁; 刁文辉; 孙显
来源:中国科学:信息科学 , 2023, 53(08): 1529-1559.

摘要

以深度学习为代表的人工智能技术已被广泛应用于遥感图像解译中.相比自然场景图像,遥感图像具有载荷类型多、成像机理差异大等特点,使得现有面向单传感器、纯数据驱动的智能解译方法应用到不同模态数据时,性能上限难以突破.尤其在面向多传感获取的、大范围的、目标种类较多的复杂应用场景时,实际性能受限更为严重.本文主要对遥感智能解译结合多模态数据和多任务学习的研究工作进行综述,重点从基本概念、研究方法和应用场景3个方面进行展开.并且介绍了基于分域提取和跨域融合理念设计的模型架构,通过从海量多模态数据中提取通用特征,实现单个基础模型完成多类下游任务的泛化解译,在不同模态解译任务中表现优异,并实际应用推广.最后,对遥感多模态多任务学习未来技术发展方向进行展望.