基于交替方向乘子法的非光滑损失坐标优化算法

作者：高乾坤; 王玉军; 王惊晓

来源：计算机应用, 2013, (07): 1912-1916.

• 机器学习
• 交替方向乘子法
• 坐标优化
• 大规模
• 非光滑损失 machine learning
• Alternating Direction Method of Multipliers(ADMM)
• coordinate optimization
• large-scale
• non-smooth loss

交替方向乘子法(ADMM)在机器学习问题中已有一些实际应用。针对大规模数据的处理和非光滑损失凸优化问题,将镜面下降方法引入原ADMM批处理算法,得到了一种新的改进算法,并在此基础上提出了一种求解非光滑损失凸优化问题的坐标优化算法。该算法具有操作简单、计算高效的特点。通过详尽的理论分析,证明了新算法的收敛性,在一般凸条件下其具有目前最优的收敛速度。最后与相关算法进行了对比,实验结果表明该算法在保证解稀疏性的同时拥有更快的收敛速度。

• 单位
  中国人民解放军陆军炮兵防空兵学院