基于改进激活函数和学习率的双向LSTM研究

作者：李军; 李明^*; 曾蒸; 李莉

来源：重庆师范大学学报(自然科学版), 2021, 38(02): 70-76.

• 双向LSTM
• 激活函数
• 学习率
• 输入门
• 输出门

【目的】目前双向长短期记忆网络(Long short term memory,LSTM)在语音识别、图像识别和情感分类等方面的应用越来越广泛,基于此研究如何提高双向LSTM的准确率。【方法】提出一种改进的双向LSTM,通过对LSTM中输入门与输出门激活函数的改进,并结合改进的学习率,能够大大地提高神经网络的收敛速度与准确率。【结果】在不同领域的数据集MNIST和IMDB上分别进行实验,改进的双向LSTM在MNIST数据集上的准确率达到了99.61%,比基准双向LSTM的准确率提高了1.172%,在IMDB数据集上的准确率则达到了88.08%,比基准双向LSTM的准确率提高了1.6%,而且在两个数据集上在迭代次数较小的情况下,相比基准双向LSTM,改进的算法都达到了较高的准确率和较低的损失率。【结论】由此证明改进的双向LSTM优于基准双向LSTM。

• 单位
  重庆师范大学