用于深度学习的一种改进L-BFGS算法

作者：赵睿颖

来源：首都师范大学学报(自然科学版), 2021, 42(05): 8-14.

DOI：10.19789/j.1004-9398.2021.05.002

• 深度学习
• 二阶优化方法
• 拟牛顿法
• L-BFGS算法

本文提出了一种改进的L-BFGS算法,该算法利用相邻迭代点梯度之差,以及由此定义的矩阵与向量之间的乘积的线性组合来更新向量对,进而构造新的Hessian矩阵近似.改进算法将迭代方向进行单位化,以保证所提算法的稳定性.在MNIST和CIFAR10数据集上进行了实验,结果表明改进的算法具有更好的稳定性,与带动量的随机梯度下降法、AdaGrad以及L-BFGS等算法相比,具有更好的实验表现.

• 单位
  天津大学; 数学学院