基于多注意力机制的机器阅读理解模型

作者：梁燕; 张文普^*; 刘超; 朱清

来源：计算机工程与设计, 2023, 44(06): 1907-1913.

DOI：10.16208/j.issn1000-7024.2023.06.042

• 深度学习
• 机器阅读理解
• 循环神经网络
• 特征提取
• 注意力机制
• 余弦相似度
• 答案预测

为解决以往机器阅读理解模型中存在的长距离依赖、特征提取单一、信息冗余等问题，在bi-directional attention flow network(BiDAF)的基础上，提出改进模型。通过引入自注意机制捕获序列的内部特征，进一步融合问题和文档的信息，解决长距离依赖问题；引入位置信息，从多方面提取文档特征；采用余弦相似度的方法，调整文档的嵌入向量，解决信息冗余问题；在SQuAD数据集上进行验证。实验结果表明，与原基准模型BiDAF相比，改进后的模型在精确匹配和模糊匹配两项性能指标上的结果都有提升，验证了所提模型的有效性。

• 单位
  重庆邮电大学; 通信与信息工程学院