基于高次指数平滑动态边界限制的深度学习优化算法

作者：张珂; 杨歆豪^*; 张嘉慧; 倪俊芳

来源：信息与控制, 2021, 50(06): 685-693.

DOI：10.13976/j.cnki.xk.2021.0522

• 指数移动平均算法
• 自适应
• 学习速率
• 二阶动量

针对自适应算法存在的不收敛问题,提出了一种Adam改进算法.通过引入多个超参数,并进行多次指数平滑,来弥补一次指数平滑的不足.此外,对二阶动量计算加以修正,预防了二阶动量数据发生不良的波动,从而达到平滑非预期的大学习率的效果.分别在Resnet模型和Densenet模型上对cifar10和cifar100数据集进行了对比实验.从实验可以看出,所提算法适用于不同的模型结构和不同数据集,与Adam算法相比,其准确率平均提升了1.3%,同时为收敛问题提供了一种有效的解决方案.

• 单位
  苏州大学; 机电工程学院