多尺度融合dropout优化算法

作者：钟忺; 陈恩晓; 罗瑞奇; 卢炎生

来源：华中科技大学学报(自然科学版)科技大学, 2018, 46(09): 35-39.

DOI：10.13245/j.hust.180907

• 神经网络
• 正则化
• 多尺度融合
• 遗传算法
• dropout
• 深度学习

为了改善传统标准dropout无法根据特定数据集确定合适尺度的不足,提出了多尺度融合dropout(MSF dropout)方法.利用验证数据集对多个不同尺度的网络模型进行训练,通过学习得到符合该数据集特征的最佳尺度组合,让MSFdropout具备自适应数据集的能力,从而使网络能够使用最佳尺度来进行高精确度的预测.首先训练若干组不同尺度的网络模型,使用遗传算法求出各网络模型的最优尺度;然后通过最优尺度对对应的网络参数进行缩小得到预测子模型;最后以一定的权重将这些子模型融合成为最终的预测模型.使用MSFdropout在标准数据集MNIST和CIFAR-10中进行实验,实验表明:当选择了合适的尺度数量和尺度梯度后,预测精度获得了明显的提升,同时很好地控制了计算时间,验证了多尺度融合方法的有效性.

• 单位
  华中科技大学; 武汉理工大学