基于LSTM与衰减自注意力的答案选择模型

作者：陈巧红; 李妃玉; 孙麒; 贾宇波

来源：浙江大学学报(工学版), 2022, 56(12): 2436-2444.

• 问答(QA)
• 答案选择
• 长短时记忆(LSTM)
• 衰减自注意力
• 注意力机制

针对答案选择过程中存在语句特征、语句间的相关语义信息提取不充分的问题，在长短时记忆网络(LSTM)的基础上，提出基于LSTM和衰减自注意力的答案选择模型(DALSTM). DALSTM使用LSTM和衰减自注意力编码层提取丰富的上下文语义信息，通过衰减矩阵缓解反复使用注意力机制出现的权重过集中于关键词的问题.使用注意力机制对问题与答案间的信息进行双向交互，融合问答对间的相似性特征，丰富问答对间的相关语义信息.在WiKiQA、TrecQA及InsuranceQA数据集上的模型评估结果表明，相较于其他基于BiLSTM的先进模型，DALSTM的整体性能表现更好，3个数据集的平均倒数排名（MRR）分别达到0.757、0.871、0.743.

• 单位
  浙江理工大学