优化方法综述

作者：尚明杰

来源：中国新通信, 2019, 21(01): 70-72.

• 梯度下降
• 自适应学习率算法
• 正态方程
• 最大似然估计

优化方法是优化问题中模型求解参数的方法,它通过降低代价函数来间接提高模型性能。本文首先从梯度下降引入,依次概述了梯度下降的变体、自适应学习率算法,以及其他方面的优化方法的数学原理和应用场景。然后基于实验,对比其中几个典型的方法的拟合效果、时间性能、误差等。最后,结合实验对全文进行总结。