基于局部选择Vision Transformer的遥感场景分类算法

作者：杨凯; 卢孝强

来源：激光与光电子学进展, 2023, 60(22): 327-333.

DOI：10.3788/LOP230539

• 遥感场景分类
• 深度学习
• Vision Transformer
• 局部特征

遥感场景分类旨在为航空图像指定特定的语义标签，是遥感图像解译中一个基础且重要的任务。现有的研究主要利用卷积神经网络（CNN）学习全局和局部特征，提高网络的判别性表达。然而基于CNN的方法的感受野在建模局部特征的远程依赖性方面存在局限性。近年来，Vision Transformer(ViT)在传统的分类任务中表现出了强大的性能。Transformer的自我注意力机制将每个Patch标记与分类标记连接起来，捕捉图像像素之间的上下文关系，考虑空间域中的全局信息。提出一个基于局部选择ViT的遥感场景分类网络。首先将输入图像分割成小块的Patch，将其展开转换成序列，并进行位置编码添加到序列中；然后将得到的序列输入编码器中；除此之外，为了学习到局部判别特征，在最后一层输入前加入局部选择模块，选择具有判别性的Token作为输入，得到最后用于分类的输出。实验结果表明，所提方法在两个大型遥感场景分类数据集（AID和NWPU）取得不错的效果。

• 单位
  中国科学院西安光学精密机械研究所; 中国科学院大学