一种新的快速BP神经网络算法——QLMBP

作者：李炯城; 黄汉雄

来源：华南理工大学学报(自然科学版), 2006, (06): 49-54.

• BP算法
• Levenberg-Marquardt算法
• 上下三角(LU)分解
• Marquardt灵敏度矩阵 BP algorithm
• Levenberg-Marquardt algorithm
• LU(Lower-Upper) decomposition
• Marquardt sensitivity matrix

对反向传播(BP)算法中收敛速度最快的改进版本Levenberg-Marquardt BP(LMBP)进行了研究,找出了收敛速度的瓶颈:迭代控制参数的初始化会严重地影响到算法的迭代次数;涉及的矩阵求逆是每次迭代中最耗时的计算;如果每次迭代中的误差平方和没有变小,该次迭代可能需要很长时间.本文通过上下三角(LU)分解去除耗时的矩阵求逆,并采取一维搜索来加速目标函数值的下降,使得LMBP不再依赖于迭代控制参数,从而提出了一种快速神经网络算法QLMBP.QLMBP算法的收敛速度比LMBP算法快100倍左右.

• 单位
  华南理工大学