选择并融合粗细粒度特征的细粒度图像识别

作者：阳治民; 宋威^*

来源：中国图象图形学报, 2023, 28(07): 2081-2092.

• 细粒度识别
• 粗细粒度
• 特征选择
• 特征融合
• 鉴别性
• 多样性

目的 在细粒度图像识别任务中，类内图像姿势方差大，需要找到类内变化小的共性，决定该任务依赖于鉴别性局部的细粒度特征；类间图像局部差异小，需要找到类间更全面的不同，决定该任务还需要多样性局部的粗粒度特征。现有方法主要关注粗细粒度下的局部定位，没有考虑如何选择粗细粒度的特征及如何融合不同粒度的特征。为此，提出一种选择并融合粗细粒度特征的细粒度图像识别方法。方法 设计一个细粒度特征选择模块，通过空间选择和通道选择来突出局部的细粒度鉴别性特征；构建一个粗粒度特征选择模块，基于细粒度模块选择后的局部，挖掘各局部间的语义和位置关系，从而获得为细粒度局部提供补充信息的粗粒度多样性特征；融合这两个模块中提取到的细粒度特征和粗粒度特征，形成互补的粗细粒度表示，以提高细粒度图像识别方法的准确性。结果在CUB-200-2011(caltech-UCSD birds-200-2011)、Stanford Cars和FGVC-Aircraft(fine-grained visual classification aircraft) 3个公开的标准数据集上进行广泛实验，结果表明，所提方法的识别准确率分别达到90.3%、95.6%和94.8%，明显优于目前主流的细粒度图像识别方法，相较于对比方法中的最好结果，准确率相对提升0.7%、0.5%和1.4%。结论 提出的方法能够提取粗粒度和细粒度两种类型的视觉特征，同时保证特征的鉴别性和多样性，使细粒度图像识别的结果更加精准。

• 单位
  江南大学