高速简单循环单元网络

作者：胡枫; 吴义熔; 董方敏; 邹耀斌; 孙水发^*

来源：控制与决策, 2022, 37(02): 493-498.

DOI：10.13195/j.kzyjc.2020.1270

• 深度学习
• 循环神经网络
• 简单循环单元
• 高速公路网络
• 激活函数
• 梯度消失

基于可以并行化计算的简单循环单元(simple recurrent unit, SRU)网络,引入高速公路网络(highwaynetworks)的连接思想,提出高速简单循环单元(H-SRU)网络:一方面利用非饱和激活函数可以有效缓解梯度消失的性质,将原有SRU结构里单元状态和隐状态的激活函数替换为非饱和激活函数;另一方面在SRU的单元状态表示中引入高速公路网络所采用的前馈链接思想,使网络对梯度变化更敏感;在此基础上,基于PTB (penn treebank dataset)和WikiText-2两个数据集构建语言模型,以验证所提方法的有效性.实验结果表明,所设计的高速简单循环单元网络H-SRU在保持SRU原有训练速度优势的同时,可较大地提高网络的性能.在WikiText-2数据集上所提方法的困惑度PPL值达到了26.1,这是目前已知最好效果,而且其效率也比已知的非SRU网络高.