一种基于低秩重构的神经网络训练方法

作者：郭锴凌; 陈琦; 徐向民

来源：2020-07-20, 中国, ZL202010700083.0.

本发明公开了一种基于低秩重构的神经网络训练方法,其特征在于,包括以下步骤：S1、用随机梯度下降法或其变形对神经网络进行训练；S2、对训练后的神经网络每一层的权重矩阵进行低秩分解,将每一层分解的两个小矩阵转化为级联的两层结构,得到新的神经网络结构；S3、对新的神经网络结构进行训练；S4、根据新结构训练后的权重矩阵重构原神经网络结构的权重矩阵作为初始化,对原神经网络结构进行重训练。本发明利用低秩矩阵分解在原解空间的低维流形上进行搜索,再重构进行重训练,可以减少陷入原解空间局部最优的可能,提升神经网络训练后的性能。

• 单位
  华南理工大学