一种融合弱层惩罚的卷积神经网络模型剪枝方法

作者：房志远; 石守东; 郑佳罄; 胡加钿

来源：计算机工程, 2021, 1-8.

DOI：10.19678/j.issn.1000-3428.0061461

• 模型压缩
• 模型剪枝
• 弱层惩罚
• 全局掩码
• 欧式距离

卷积神经网络对内存和计算的巨大需求阻碍了其现实世界中的应用。为克服网络大小所带来的限制，提出一种融合弱层惩罚的模型剪枝方法来减少模型大小和浮点操作的数量（FLOPs）。算法首先使用欧式距离计算各层卷积核间的信息距离。然后，利用各卷积层信息距离的数据分布特征对弱层进行识别，再通过提出的基于贡献度的归一化函数对弱层进行惩罚，同时消除各层间的差异性。最后，全局层面重要性评估卷积核，并利用全局掩码技术实现动态剪枝。在CIFAR10、CIFAR100和SVHN数据集上的实验结果表明，单分支网络VGG获得了8倍的参数量和FLOPs减少，精度只损失0.45；多分支网络Resnet110精度损失0.22的情况下，参数量和FLOPs分别减少59.4%和66.8%；轻量化网络Mobilenet-v1在FLOPs和参数量下降90%以上的情况下，依然保持了较好的精度。

• 单位
  宁波大学