深层神经网络预训练的改进初始化方法

作者：周佳俊; 欧智坚

来源：电讯技术, 2013, (07): 895-898.

• 语音识别
• 深层神经网络
• 预训练
• 初始化
• 激励函数 speech recognition
• deep neural network
• pre-training
• initialization
• activation function

在基于神经网络的语音识别任务中,提出根据激励函数二阶导数优化网络预训练阶段中权值初始化的方法。利用激励函数的非线性区域和自变量呈高斯分布的特性,寻找权值分布的较优方差以提升训练速度。通过比较同一学习速率下不同初始化数值对收敛速度的影响,发现此种方法可以加快预训练阶段的速度,提升神经网络训练的效率。

• 单位
  清华大学