神经网络中处理鞍点的LMBP改进算法

作者：李炯城; 肖恒辉; 李桂愉

来源：计算机工程, 2012, (23): 173-176+180.

• 神经网络
• Levenberg-Marquardt反向传播算法
• 鞍点
• 雅克比矩阵
• 海森矩阵
• 高斯-牛顿法 neural network
• Levenberg-Marquardt Back Propagation(LMBP) algorithm
• saddle point
• Jacobi matrix
• Hessian matrix
• Gauss-Newton algorithm

针对目前神经网络中的Levenberg-Marquardt反向传播(LMBP)算法在训练过程中有可能迭代到鞍点的问题,提出一种能有效克服鞍点的LMBP改进算法。计算鞍点处雅克比矩阵的正特征值对应的特征向量并将其作为新的搜索方向。通过实例对比传统LMBP算法与改进LMBP算法的效果,证明改进的算法能有效地脱离鞍点并进一步收敛到极小点处。

• 单位
  广东省电信规划设计院有限公司