利用互信息的自适应阈值通道剪枝方法

作者：陈震; 杨娟

来源：智能计算机与应用, 2023, 13(12): 9-18.

DOI：10.3969/j.issn.2095-2163.2023.12.003

• 网络剪枝
• 互信息
• 互正则化方法
• 深度神经网络

深度神经网络在计算机视觉、自然语言处理等方面表现出优秀的效果，但同时需要极高的计算运行成本以及适配的硬件资源，网络剪枝则是解决上述问题的有效方法。在已有的研究中多采用正则化方法将参数收敛到0值，并且使用统一阈值对网络进行修剪，进而导致剪枝不足或过度剪枝影响网络的精度。对此，本文提出了基于互正则化的层适应阈值剪枝策略(Mutual Regulation and Threshold Selection, MRTS),结合了互信息的正则化方法，将不重要的参数收敛到0值，重要的参数收敛到非0值，提高了通道的重要性区分度，便于后续网络剪枝。此外，本文根据神经网络层间参数的分布情况，自适应地计算出每一层的剪枝阈值，以修剪不重要的通道，在不影响精度的前提下进一步减少神经网络的计算量。实验表明，在CIFAR10/100和ImageNet数据集上，对比其他剪枝方法，MRTS方法在提高模型稀疏度方面可以取得优异的成果。

• 单位
  合肥工业大学