基于矩阵分解的卷积神经网络改进方法

作者：李振亮; 李波^*

来源：计算机应用, 2023, 43(03): 685-691.

• 卷积神经网络
• 矩阵分解
• 奇异值分解
• 过参数化
• 图像分类

针对传统卷积神经网络（CNN）在训练过程中优化难度高的问题，提出基于矩阵分解的CNN改进方法。首先，通过矩阵分解将模型卷积层在训练期间的卷积核参数张量转换为多个参数矩阵的乘积，形成过参数化；其次，将这些额外的线性参数加入网络的反向传播，并与模型的其他参数同步更新，以改善梯度下降的优化过程；完成训练后，将矩阵乘积重新还原为标准卷积核参数，从而使推理期间前向传播的计算复杂度与改进前保持一致。选用简化QR分解和简化奇异值分解（SVD），在CIFAR-10数据集上进行分类效果实验，并用不同的图像分类数据集和初始化方式作进一步的泛化实验。实验结果表明，基于矩阵分解的VGG和残差网络（ResNet）对7个不同深度模型的分类准确率均高于原网络模型，可见矩阵分解方法可以让CNN更快地达到较高的分类准确率，最终收敛得到更好的局部最优。

• 单位
  西安交通大学