基于自适应剪枝率与高效权重继承的神经网络通道剪枝方法

作者：刘相呈; 曹健^*; 姚宏毅; 徐鹏涛; 张袁; 王源

来源：北京大学学报(自然科学版), 2023, 59(05): 764-772.

DOI：10.13209/j.0479-8023.2022.115

• 卷积神经网络
• 通道剪枝
• 稀疏化训练
• 神经网络结构搜索
• 图像分类

目前的通道级剪枝方法往往需要复杂的搜索和微调过程,并且容易陷入局部最优解,针对此问题,提出一种新颖的通道剪枝框架(AdaPruner),只需通过一次稀疏训练,就可以针对各种预算复杂度,自适应地生成相应的子网络,并高效地选择适合当前结构的初始化权重。在图像分类任务的多个数据集上实验结果表明,该方法在常用的残差网络和轻量级网络上的性能都优于以往剪枝方法。

• 单位
  北京大学