基于通道相似度熵的卷积神经网络裁剪

作者：耿丽丽; 牛保宁^*

来源：计算机工程, 2023, 1-10.

DOI：10.19678/j.issn.1000-3428.0068284

• 卷积神经网络
• 通道相似度
• 熵
• 滤波器
• 裁剪

卷积神经网络（CNN）中包含大量滤波器，参数训练以及存储占用大量内存资源。裁剪滤波器是减小网络规模、释放内存、提高计算速度的有效方法。现有滤波器裁剪方法的主要问题是将滤波器权值作为孤立的数值计算，裁剪小权值滤波器，保留权值大的滤波器，忽视了部分小权值滤波器在特征提取过程中的重要性。通过分析滤波器通道之间的相似性，提出一种基于通道相似度的滤波器熵值计算方法（FEC，Filter Entropy Calculation Based on Channel Similarity)。针对滤波器结构特征，对权值张量进行均值压缩，并证明其合理性。首先计算滤波器通道距离判断通道之间的相似性，再根据通道相似度计算滤波器熵，由熵值大小进行滤波器排序，删除一定比例的较小熵值滤波器。实验设计针对不同卷积层采用不同的裁剪比例，在CIFAR10以及ImageNet标准数据集上对VGG-16和RESNET-34网络进行裁剪，在基本保持原始准确度的情况下，分别减少了大约94%以及70%的参数数量。在目标检测网络SSD上参数数量降低了55.72%，mAP提高了1.04个百分点。

• 单位
  山西财经大学; 太原理工大学