人工神经网络中的一种Krylov子空间优化算法

作者：张振宇; 林沐阳

来源：工程数学学报, 2022, 39(05): 681-694.

DOI：10.3969/j.issn.1005-3085.2022.05.001

• 人工神经网络
• Krylov子空间
• 优化算法

介绍了人工神经网络的二阶优化算法研究现状，对人工神经网络损失函数的KSD (Krylov Subspace Descent)优化算法进行改进。针对KSD算法中采用固定不变的Krylov子空间维数的方式，提出了Krylov子空间维数根据计算结果自适应改变的MKSD (Modified KSD)算法，并给出了利用MKSD、KSD以及SGD (Stochastic Gradient Descent)优化算法对不同问题的全连接神经网络进行训练的数值算例。计算结果说明MKSD的算法对比于其他算法具有一定的优势。

• 单位
  数学学院; 上海财经大学; 上海财经大学浙江学院