面向遥感图像场景分类的双知识蒸馏模型

作者：李大湘; 南艺璇^*; 刘颖

来源：电子与信息学报, 2023, 45(10): 3558-3567.

• 遥感图像分类
• 知识蒸馏
• 双注意力
• 空间结构

为了提高轻型卷积神经网络(CNN)在遥感图像(RSI)场景分类任务中的精度，该文设计一个双注意力(DA)与空间结构(SS)相融合的双知识蒸馏(DKD)模型。首先，构造新的DA模块，将其嵌入到ResNet101与设计的轻型CNN，分别作为教师与学生网络；然后，构造DA蒸馏损失函数，将教师网络中的DA知识迁移到学生网络之中，从而增强其对RSI的局部特征提取能力；最后，构造SS蒸馏损失函数，将教师网络中的语义提取能力以空间结构的形式迁移到学生网络，以增强其对RSI的高层语义表示能力。基于两个标准数据集AID和NWPU-45的对比实验结果表明，在训练比例为20%的情况下，经知识蒸馏之后的学生网络性能分别提高了7.69%和7.39%，且在参量更少的情况下性能也优于其他方法。

• 单位
  西安邮电大学; 通信与信息工程学院