基于贝叶斯优化的无标签网络剪枝算法

作者：高媛媛^*; 余振华; 杜方; 宋丽娟

来源：计算机应用, 2023, 43(01): 30-36.

• 深度神经网络
• 模型压缩
• 网络剪枝
• 网络结构搜索
• 贝叶斯优化

针对深度神经网络（DNN）的参数和计算量过大问题，提出一种基于贝叶斯优化的无标签网络剪枝算法。首先，利用全局剪枝策略来有效避免以逐层方式修剪而导致的模型次优压缩率；其次，在网络剪枝过程中不依赖数据样本标签，并通过最小化剪枝网络与基线网络输出特征的距离对网络每层的压缩率进行优化；最后，利用贝叶斯优化算法寻找网络每一层的最优剪枝率，以提高子网搜索的效率和精度。实验结果表明，使用所提算法在CIFAR-10数据集上对VGG-16网络进行压缩，参数压缩率为85.32%，每秒浮点运算次数（FLOPS）压缩率为69.20%，而精度损失仅为0.43%。可见，所提算法可以有效地压缩DNN模型，且压缩后的模型仍能保持良好的精度。

• 单位
  宁夏大学