深度卷积神经网络的柔性剪枝策略

作者：陈靓; 钱亚冠; 何志强; 关晓惠; 王滨; 王星

来源：电信科学, 2022, 38(01): 83-94.

DOI：10.11959/j.issn.1000?0801.2022004

• 卷积神经网络
• 网络剪枝
• 缩放系数
• 通道贡献量

尽管深度卷积神经网络在多种应用中取得了极大的成功,但其结构的冗余性导致模型过大的存储容量和过高的计算代价,难以部署到资源受限的边缘设备中。网络剪枝是消除网络冗余的一种有效途径,为了找到在有限资源下最佳的神经网络模型架构,提出了一种高效的柔性剪枝策略。一方面,通过计算通道贡献量,兼顾通道缩放系数的分布情况;另一方面,通过对剪枝结果的合理估计及预先模拟,提高剪枝过程的效率。基于VGG16与ResNet56在CIFAR-10的实验结果表明,柔性剪枝策略分别降低了71.3%和54.3%的浮点运算量,而准确率仅分别下降0.15个百分点和0.20个百分点。

• 单位
  浙江大学; 浙江科技学院; 浙江水利水电学院