一种自适应步长的复合梯度加速优化算法

作者：印明昂; 王钰烁; 孙志礼; 于云飞

来源：东北大学学报(自然科学版), 2020, 41(09): 1274-1279.

• 一阶优化算法
• 复合梯度下降法
• Logistic回归
• 模式识别

自适应步长加速(Adam)类算法由于其计算效率高、兼容性好的特点,成为近期相关领域的研究热点.针对Adam收敛速度慢的问题,本文基于当前梯度、预测梯度以及历史动量梯度,提出一种新型Adam类一阶优化算法——复合梯度下降法(C-Adam),并对其收敛性进行了理论证明.与其他加速算法的区别之处在于,C-Adam将预测梯度与历史动量区别开,通过一次真实的梯度更新找到下一次迭代更精准的搜索方向.利用两组常用测试数据集及45钢静拉伸破坏实验的实验数据对所提算法进行验证,实验结果表明CAdam与其他流行算法相比较具有更快的收敛速度及更小的训练损失.

• 单位
  东北大学; 自动化学院; 中车长春轨道客车股份有限公司; 中国航发沈阳发动机研究所