一种基于Comid的非光滑损失随机坐标下降方法

作者：陶卿; 朱烨雷; 罗强; 孔康

来源：电子学报, 2013, (04): 768-775.

• 机器学习
• 优化
• 大规模
• 坐标下降方法
• 非光滑损失
• 结构学习
• COMID machine learning
• optimization
• large-scale
• coordinate descent methods
• non-smooth losses
• structural learning
• COMID

坐标下降方法以简洁的操作流程、低廉的计算代价和快速的实际收敛效果,成为处理大规模优化最有效的方法之一.但目前几乎所有的坐标下降方法都由于子问题解析求解的需要而假设损失函数的光滑性.本文在结构学习的框架下,在采用Comid方法求解随机挑选单变量子问题的基础上,提出了一种新的关于非光滑损失的随机坐标下降方法.理论分析表明本文所提出的算法在一般凸条件下可以得到Ο(t-(1/2)/t)的收敛速度,在强凸条件下可以得到Ο(lnt/t)的收敛速度.实验结果表明本文所提出的算法对正则化Hinge损失问题实现了坐标优化预期的效果.

• 单位
  中国人民解放军陆军炮兵防空兵学院