基于稀疏约束滤波器剪枝策略的模型压缩方法

作者:董燕; 刘小辉; 汤水利; 刘洲峰; 李春雷*
来源:计算机工程与设计, 2022, 43(09): 2542-2548.
DOI:10.16208/j.issn1000-7024.2022.09.019

摘要

针对现有滤波器剪枝逐层固定比率修剪导致的模型性能及自适应能力不足,提出一种基于稀疏约束的滤波器剪枝方法。将批归一化(batch normalization,BN)层的比例因子作为特征图及滤波器重要性权重,对其进行稀疏正则化训练,经排序计算出全局最优阈值,修剪出最优子网络;通过提出全局-局部阈值策略,解决剪枝率过大导致的断层现象;采用过参数化卷积方法,在保持模型大小的前提下,提升剪枝模型性能。实验结果表明,提出方法在压缩性能及自适应性上优于现有剪枝方法。

全文