结合注意力机制的循环神经网络复述识别模型

作者：李旭^*; 姚春龙; 范丰龙; 于晓强

来源：控制与决策, 2021, 36(01): 152-158.

DOI：10.13195/j.kzyjc.2019.0638

• 自然语言处理
• 复述识别
• 循环神经网络
• 双向长短时记忆
• 注意力机制
• 无监督预训练

传统基于深度学习的复述识别模型通常以关注文本表示为核心,忽略了对多粒度交互特征的挖掘与匹配.为此,建模文本交互空间,分别利用双向长短时记忆网络对两个候选复述句按条件编码,基于迭代隐状态的输出,通过逐词软对齐的方式从词、短语、句子等多个粒度层次推理并获取句子对的语义表示,最后综合不同视角的语义表达利用softmax实现二元分类.为解决复述标注训练语料不足,在超过580 000句子对的数据集上利用语言建模任务对模型参数无监督预训练,再使用预训练好的参数在标准数据集上有监督微调.与先前最佳的神经网络模型相比,所提出模型在标准数据集MSRP上准确率提高2.96%, F1值改善2%.所提出模型综合文本全局和局部匹配信息,多粒度、多视角地描述文本交互匹配模式,能够降低对人工特征工程的需求,具有良好的实用性.

• 单位
  大连工业大学