片段抽取型机器阅读理解算法研究

作者：叶俊民; 赵晓丽; 杜翔; 姚贤坦

来源：计算机应用研究, 2021, 38(11): 3268-3273.

DOI：10.19734/j.issn.1001-3695.2021.04.0106

• 机器阅读理解
• 片段抽取型机器阅读理解
• RoBERTa-www-ext
• 卷积神经网络
• 注意力机制

针对现有的机器阅读理解模型主要使用循环模型处理文本序列信息,这容易导致训练和预测速度慢且模型预测准确性不高等问题,提出了一种片段抽取型机器阅读理解算法QA-Reader。该算法利用大型预训练语言模型RoBERTa-www-ext获取问题和上下文的词嵌入表示;使用深度可分离卷积和多头自注意力机制进行编码;计算上下文和问题的双向注意力及上下文的自注意力,以融合上下文和问题之间的关联信息,拼接得到最终的语义表征;经过模型编码器预测得到答案,模型针对不可回答的问题计算了其不可回答的概率。在中文片段抽取型机器阅读理解数据集上进行了实验,结果表明QA-Reader模型与基线模型相比,其性能方面EM和F1值分别提高了3.821%、2.740%,训练速度提高了0.089%。

• 单位
  华中师范大学