基于无效卷积核权值回退的神经网络优化方法

作者：顾上航; 张利军; 郭越超; 徐勇

来源：计算机工程与应用, 2021, 57(22): 86-91.

DOI：10.3778/j.issn.1002-8331.2011-0239

• 卷积神经网络(CNN)
• 图像分类
• 卷积核替换
• 卷积核有效性

在神经网络模型训练过程中,存在部分卷积核退化为无效卷积核,在神经网络推理过程失去作用的问题。针对该问题,提出了一种仅使用单个模型就能在训练过程中激活无效卷积核,提高模型性能的方法。首先将初始模型训练至收敛时刻;然后通过L1正则和卷积核相关性两种方式衡量卷积核的有效性;最后将无效卷积核的权值回退到模型训练的初期阶段并对模型进行重训练。在CIFAR-10、CIFAR-100等图像分类的数据集上的实验结果表明,无论是在残差网络还是在轻量级网络上,提出的方法都能有效地恢复无效卷积核,提高神经网络模型精度。相比之前的方法,该方法在低代价下达到了最佳效果,在图像分类任务上平均提高了0.93%的准确率。

• 单位
  哈尔滨工业大学（深圳）