带动量项的梯度下降算法的收敛性

作者：彭先伦; 谢纲^*

来源：华东理工大学学报, 2021, 47(06): 779-786.

DOI：10.14135/j.cnki.1006-3080.20200326001

• 神经网络
• 反向传播算法
• 动量
• 动量系数
• 收敛

本文对基于三层前馈神经网络的带动量项的反向传播算法进行了理论分析。在我们的模型中,学习率为常数,动量系数为一个适应性的变量。本文给出了带动量项的反向传播算法的收敛性结果及详细的证明。相比于目前已有的结果,本文中的结论更具有一般性。

• 单位
  数学学院; 华东理工大学