基于动态注意力和多角度匹配的答案选择

作者：李志超; 吐尔地·托合提; 艾斯卡尔·艾木都拉

来源：计算机应用, 2021, 1-9.

• 神经网络
• 答案选择
• 动态注意力机制
• 多角度匹配
• 预训练语言模型

针对当前主流神经网络在处理答案选择任务时无法同时满足句子的充分表示以及句子间信息充分交互的问题，提出了基于动态注意力和多角度匹配（DAMPM）方法。先调用预训练语言模型的嵌入（ELMo）获得包含简单语义信息的词向量，然后在注意力层采用过滤机制有效的去除句子中的噪音，得到问句和答案句的句子表征。其次，在匹配层同时引入多种匹配策略完成句子向量之间的信息交互。接着,利用双向长短期记忆（BiLSTM）网络对匹配层输出的句子向量进行拼接。最后通过分类器来计算拼接向量的相似度大小，从而得到问句和答案句之间的语义关联程度。在文本检索会议问答（TRECQA）数据集上的实验结果表明，与基线模型中基于比较聚合框架中的最优方法——动态滑动注意力网络（DCAN）方法相比，DAMPM在平均准确率均值（MAP）和平均倒数排名（MRR）两个性能指标上均提高了1.6%。其次，在维基百科问答（WIKIQA）数据集上的实验结果表明，DAMPM相比DCAN在两个性能指标上分别提高了0.7%和0.8%。总的实验结果表明，DAMPM相比基线模型中的方法整体上有更好的性能表现。

• 单位
  新疆大学