基于彩票假设的软剪枝算法

作者：马嘉翔; 宋晓宁^*

来源：计算机工程, 2023, 49(05): 97-104.

DOI：10.19678/j.issn.1000-3428.0064139

• 网络加速
• 彩票假设
• 全局剪枝
• 稀疏蒸馏
• 模型融合

神经网络层数的不断增加使网络复杂度也呈指数级上升，导致应用场景受到限制。提出一种基于彩票假设的软剪枝算法实现网络加速。通过使用前一阶段的剪枝网络对其进行知识蒸馏来补偿的方法恢复错误参数，并在知识蒸馏的损失函数中加入稀疏约束来保持稀疏性。在此基础上，将当前阶段得到的剪枝网络与知识蒸馏得到的学生网络进行融合。在进行网络融合时，计算剪枝网络与学生网络的相似性，并通过设计特定的融合公式来突出相近的网络参数和抑制相离的网络参数，使得网络在剪枝率提高后仍然表现良好。在CIFAR-10/100数据集上对VGG16、ResNet-18和ResNet-56模型进行实验，结果显示：剪枝率为80%时，VGG16在CIFAR-10数据集上的分类精度下降0.07个百分点；剪枝率为60%时，ResNet-56在CIFAR-10数据集上的分类精度提升0.06个百分点；剪枝率为85%、95%和99%时，ResNet-18在CIFAR-100数据集上的分类精度仅下降1.03、1.51和2.04个百分点。实验结果表明，所提算法在提高网络剪枝率的同时仍能使其保持较高的精度，验证了算法的有效性。

• 单位
  江南大学