基于贝叶斯优化的无标签网络剪枝算法

作者：高媛媛; 余振华; 杜方; 宋丽娟

来源：计算机应用, 2022, 1-8.

• 深度神经网络
• 模型压缩
• 网络剪枝
• 网络结构搜索
• 贝叶斯优化

针对深度神经网络模型的参数和计算量过大问题,提出一种基于贝叶斯优化的无标签网络剪枝算法。首先,该算法基于全局剪枝策略来有效避免以逐层方式修剪而导致的模型次优压缩率；其次，在网络剪枝过程中不依赖数据样本标签,通过最小化剪枝网络与基线网络输出特征的距离对网络每层压缩率进行优化；最后,利用贝叶斯优化算法寻找网络每一层最优的剪枝率，以提高子网结构搜索的效率和精度。实验结果表明,在CIFAR-10数据集上对VGG-16进行压缩，可压缩掉85.32%的参数和69.20%的浮点运算(FLOPs)，而精度损失仅为0.43%。所提算法可以有效地压缩模型,且模型仍能保持良好的精度。

• 单位
  宁夏大学