科研之友
微信
新浪微博
Facebook
分享链接
摘要
自适应策略与动量法是提升优化算法性能的常用方法。目前自适应梯度方法大多采用AdaGrad型策略，但该策略在约束优化中效果不佳，为此，研究人员提出了更适用于处理约束问题的AdaGrad+方法，但其与SGD一样在非光滑凸情形下未达到最优个体收敛速率，结合NAG动量也并未达到预期的加速效果。针对上述问题，文中将AdaGrad+调整步长的策略与Heavy-Ball型动量法加速收敛的优点相结合，提出了一种基于AdaGrad+的自适应动量法。通过设置加权动量项、巧妙选取时变参数和灵活处理自适应矩阵，证明了该方法对于非光滑一般凸问题具有最优个体收敛速率。最后在l∞∞范数约束下，通过求解典型的hinge损失函数优化问题验证了理论分析的正确性，通过深度卷积神经网络训练实验验证了该方法在实际应用中也具有良好性能。
-
单位中国人民解放军军事科学院; 中国人民解放军陆军炮兵防空兵学院; 国防科技大学
