机器学习中随机方差缩减梯度算法的一种新的步长规则

作者：杨一名; 王福胜

来源：太原师范学院学报(自然科学版), 2021, 20(04): 37-42.

• 机器学习
• 随机梯度
• 方差缩减
• 复合BB步长

针对大规模机器学习中常见的经验风险最小化问题,提出一种新的随机方差缩减梯度算法(SVRG-CABB).新算法结合了SVRG和复合BB步长的优势,对于初始步长的选取不敏感,在运算过程中通过动态调节步长,提高算法的运算效率.在标准数据集上的数值实验结果表明新算法是可行有效的.

• 单位
  太原师范学院