基于加权平均随机递归梯度下降算法

作者：费经泰; 郝庆一; 程一元; 孙钊

来源：合肥学院学报(综合版), 2022, 39(02): 12-18.

• 机器学习
• 随机递归梯度下降算法
• 加权平均
• 加权系数
• 收敛阶

对传统的随机递归梯度下降算法(SARAH)采用梯度加权平均技术，在强凸条件下提出了一种加权的SARAH算法—WA-SARAH算法。然后理论上证明了该算法具有线性收敛速率，并且给出了相应的收敛阶。通过合理地选取加权系数，发现WA-SARAH算法的收敛阶要优于SARAH算法。最后通过数值实验，验证了WA-SARAH算法的合理性。

• 单位
  安庆师范大学; 数理学院; 安徽建筑大学; 巢湖学院