科研之友
微信
新浪微博
Facebook
分享链接
摘要
深度神经网络（deep neural network,DNN）在各个领域获得了巨大成功，由于其需要高额的计算和储存成本，难以直接将它们部署到资源受限的移动设备端。针对这个问题，对网络中的全局滤波器重要性评估进行了研究，提出滤波器弹性的通道剪枝压缩方法以轻量化神经网络的规模。该方法先设置层间局部动态阈值改进L1正则化（L1 lasso）稀疏训练中剪枝过度的不足；然后将其输出乘以通道缩放因子替换普通的卷积层模块，利用滤波器的弹性大小定义全局滤波器的重要性，其数值由泰勒公式估计得出并排序，同时设计新的滤波器迭代剪枝框架，以平衡剪枝性能和剪枝速度的矛盾；最后利用改进的L1正则化训练和全局滤波器重要性程度进行复合通道剪枝。在CIFAR-10上使用所提方法对VGG-16进行实验，减少了80.2%的浮点运算次数（FLOPs）和97.0%的参数量，而没有明显的准确性损失，表明了方法的有效性，能大规模地压缩神经网络，可部署于资源受限的终端设备。
- 单位
