科研之友
微信
新浪微博
Facebook
分享链接
摘要
由于现有的循环神经网络存在着梯度消失与梯度爆炸的问题，会影响模型精度。为提升机器阅读理解模型的效率，采用了一种新型正弦激活函数Siren函数，结合注意力机制对循环神经网络进行改进。使用循环神经网络对文本数据进行特征提取，同时引入注意力机制，可以进一步抓住文本中的重点信息。经由Siren激活函数层对神经网络的输出进行处理后，传递至Softmax层与全连接层返回问题所需答案。采用该网络所实现的机器阅读理解模型，相较于原有的模型在精准度上有大幅度提升。实验数据采用SQuAD英文问答数据集，在对比实验中，相较于仅使用注意力机制的RNN版DrQA模型，EM指数提升了6.1,F1指数提升了5.9，同时Siren函数也在与其他激活函数的对比实验中均取得了较好的效果。
- 单位
