基于联合动态剪枝的深度神经网络压缩算法

作者：张明明; 卢庆宁^*; 李文中; 宋浒

来源：计算机应用, 2021, 41(06): 1589-1596.

• 模型压缩
• 网络剪枝
• 动态剪枝
• 深度神经网络
• 卷积核

作为模型压缩的一个分支,网络剪枝算法通过移除深度神经网络中不重要的参数来降低计算消耗;然而,永久性的剪枝会导致模型容量不可逆转的损失。针对该问题,提出了一种联合动态剪枝的算法来综合分析卷积核与输入图像的特征。一方面,将部分卷积核置零,并允许其在训练过程中更新,直到网络收敛之后再永久性移除被置零的卷积核。另一方面,采样输入图像的特征,然后利用通道重要性预测网络对这些特征进行分析,从而确定卷积运算中可以跳过的通道。基于M-Cifar Net与VGG16的实验结果表明,联合动态剪枝分别取得了2.11和1.99的浮点运算压缩比,而与基准模型(M-Cifar Net、VGG16)相比准确率仅分别下降不到0.8个百分点和1.2个百分点。相较于现有的网络剪枝算法,联合动态剪枝有效地减少了模型的浮点运算次数(FLOPs)以及参数规模,在同样的压缩比下获得了更高的准确率。

• 单位
  南京大学; 计算机软件新技术国家重点实验室