基于数据增强视觉Transformer的细粒度图像分类

作者：胡晓斌; 彭太乐^*

来源：西华大学学报(自然科学版), 2022, 41(06): 9-16.

• 细粒度图像分类
• 层级注意力选择
• 数据增强机制
• 图像识别

近来，视觉Transformer (vision transformer, ViT)在图像识别领域取得突破性进展，其自我注意力机制(self-attention mechanism, MSA)能够提取不同像素块的判别性标记信息进而提升图像分类精度，但其深层中的分类标记容易忽略层级之间的局部特征，此外，嵌入层将固定大小的像素块输入网络，不可避免地引入额外的图像噪声。为此，本文研究了一种基于数据增强的视觉Transformer(data augmentation vision transformer, DAVT)，并提出注意力裁剪的数据增强方法，以注意力权重为指导裁剪图像，提高网络学习关键特征的能力。其次，本文还提出层级注意力选择方法（hierarchical attention selection, HAS），它通过对层级之间标记进行筛选并融合，提升网络学习层级之间判别性标记的能力。实验结果表明，该方法在CUB-200-2011和Stanford Dogs两个通用数据集上的准确率优于现有的主流方法，其准确率比原始ViT分别提高1.4%和1.6%。

• 单位
  淮北师范大学