一种注意力增强的自然语言推理模型

作者：李冠宇; 张鹏飞; 贾彩燕

来源：计算机工程, 2020, 46(07): 91-97.

DOI：10.19678/j.issn.1000-3428.0054953

• 自然语言处理
• 自然语言推理
• ESIM模型
• 注意力机制
• 双向LSTM网络

在自然语言处理任务中使用注意力机制可准确衡量单词重要度。为此,提出一种注意力增强的自然语言推理模型aESIM。将词注意力层以及自适应方向权重层添加到ESIM模型的双向LSTM网络中,从而更有效地学习单词与句子表示,同时提高前提与假设文本之间局部推理的建模效率。在SNLI、MultiNLI及Quora数据集上的实验结果表明,与ESIM、HBMP、SSE等模型相比,aESIM模型的准确率能够提升0.5%～1%。

• 单位
  北京交通大学