一种基于通道域自注意力的特征图剪枝方法

作者：胡建强^*; 刘洋; 周小报; 梁铭枫

来源：厦门理工学院学报, 2022, 30(01): 50-57.

DOI：10.19697/j.cnki.1673-4432.202201008

• 神经网络压缩
• 滤波器剪枝
• 特征图
• 通道域
• 自注意力

为同时保证网络剪枝方法的准确率和稳定性，提出一种基于通道域自注意力的特征图剪枝方法。该方法采用主成分分析(principle component analysis, PCA)算法降低噪声干扰，引入通道域注意力为特征图自动分配不同权重，移除低权重通道的滤波器，并对网络进行重训练和精调，以减少网络精度损失。在公开数据集上对VGG-16网络模型展开的实验表明，当剪枝率为60%时，达到视觉几何组模型Top-5的准确率为89.23%;当剪枝率逐渐增加到80%时，仍保持73%准确率。相较于同类方法，本文提出的方法更能保证剪枝时模型的准确率和稳定性。

• 单位
  厦门理工学院