基于轻量化视觉Transformer的花卉识别

作者：熊举举; 徐杨; 范润泽; 孙少聪

来源：图学学报, 2022, 1-9.

• 花卉识别
• 轻量化
• 注意力机制
• 双通道注意力
• 对比损失函数

由于不同种类花卉之间的相似性以及同种花卉的差异性，提取局部特征信息的卷积神经网络在花卉图像的识别上取得的结果不够理想。在Swin Transformer网络的基础上，提出了一种轻量型的Transformer网络LWFormer。首先，该网络将基于移动窗口的PoolFormer模块引入Swin-T网络的第一、二阶段，对网络进行轻量化。其次，引入了双通道注意力机制，两个独立的通道分别关注了特征图的“位置”和“内容”，提高网络提取全局特征信息的能力。最后，使用了对比损失函数，进一步优化了网络的性能。在Oxford 102 Flower Dataset和104 Flowers Garden of Eden这两个公开的数据集上对改进的模型进行评估，并与其他方法进行对比，在这两个数据集上，分别得到了88.1%与87.3%的准确率。与Swin-T网络相比，该网络参数量降低了33.45%，FLOPs降低了28.89%， throughtput提高了91.45%，准确率提高了1.8%。实验结果表明，该网络在提升了准确率的同时降低了参数量，得到了速度与精度的提升。

• 单位
  贵阳铝镁设计研究院有限公司; 贵州大学