基于注意力机制的图像分类降维方法

作者：邓文轩; 杨航; 靳婷^*

来源：广西师范大学学报(自然科学版), 2021, 39(02): 32-40.

DOI：10.16088/j.issn.1001-6600.2020090704

• 深度学习
• 图像分类
• 卷积神经网络
• 残差网络
• 注意力机制

卷积算子是卷积神经网络的核心构造块,它根据一定的感受视野,融合卷积神经网络各层与不同通道之间的信息,提取出原始图像特征。然而图像中的相邻像素往往具有相似的值,导致卷积层的输出包含大量冗余信息。为了减少冗余信息,加快模型推理速度,神经网络中会加入池化层进行信息降维。对比传统降维方法,池化本身具有平移和旋转不变性,对图像特征的降维效果更好,并能维持模型是端到端的。利用这样的特性,本文提出一种基于注意力机制的降维方法。在特征提取过程中非线性地复用神经网络各层降维后的特征信息,使网络能学习到它们之间的潜在联系,另外,在降维时优先关注图像中目标的主要纹理,并结合该目标的弱纹理信息进行融合,能得到降维后的特征信息。基于DLA-34(deep layer aggregation)神经网络,将本文提出的降维方法与基于最大值、基于均值等池化方法在CIFAR10与CIFAR100数据集上设计多组对比实验,证明该方法的有效性。