基于CNN与Swin Transformer的新疆荒漠植物识别研究

作者：许春陶; 钱育蓉^*; 范迎迎; 杜臻宇; 邵游朋

来源：微电子学与计算机, 2023, (06): 33-41.

DOI：10.19304/J.ISSN1000-7180.2022.0577

• 植物识别
• 卷积神经网络
• Swin Transformer
• 注意力机制

新疆荒漠地区受气候和环境的双重影响易出现干旱灾害和影响农牧业生产,不利于新疆经济的可持续,新疆荒漠植物的识别是各植物研究人员了解植物生长状况的基础,也是生态保护研究和实施治理措施的前提.同时,新疆荒漠植物图像存在类间相似、图像背景复杂和数据样本不平衡等特点,导致该研究具有一定的难度.为提高识别准确率、准确定位局部重要特征与综合考虑复杂全局信息,本文提出了一种融合卷积神经网络(CNN)和Swin Transformer网络的植物图像识别方法.该方法结合了CNN网络擅长提取局部特征和Swin Transformer擅长捕获全局表示的优点,同时在CNN分支中嵌入改进的Convolutional Block Attention Module (CBAM)注意力模块以便充分提取到具有区分度的局部关键特征,并使用Focal Loss损失函数解决数据样本不平衡问题.通过实验结果表明,提出的融合方法在新疆荒漠植物数据集上相较于单分支网络更能充分提取图像的特征,其识别准确率可达97.99%,且精准率、召回率和F1分数都优于现有的方法.最后通过可视化分析和混淆矩阵进一步佐证了该方法的有效性.

• 单位
  新疆大学; 新疆财经大学