所有以数据驱动的算法最终都被转化为一个优化问题,而梯度下降类算法是解决优化问题的一种非常流行的方法。梯度下降类算法经过很长一段时间的发展,在梯度计算、步长计算等方面提出多种新算法,这些方法没有绝对的孰优孰劣,而且在实际应用当中常常被当作黑箱使用。介绍梯度下降类算法的具体计算方法和每种算法所解决的主要问题,并通过可视化的方式呈现不同梯度下降算法在同一问题中的表现,最终指出梯度优化算法的选择策略。
科研之友
微信
新浪微博
Facebook
分享链接
