基于迁移学习和预训练技术的推理机器阅读理解模型

作者：薛汇泉; 方建安^*

来源：现代计算机(专业版), 2021, 27(32): 1-21.

• 机器阅读理解
• 逻辑推理
• 预训练技术
• 迁移学习方法

机器阅读理解旨在评估计算机的自然语言理解能力,当前的大多数机器阅读理解模型缺乏逻辑推理能力,最先进的模型在推理阅读理解数据集上表现也较差。本文提出了一个具有逻辑推理能力的机器阅读理解模型。利用预训练技术,首先在多个不同粒度的域外数据集上微调语言模型赋予模型泛化能力,再使用数据扩充技术和滑动窗口方法解决目标数据集样本数量不足的问题,最终在需要逻辑推理能力的数据集LogiQA上取得了最佳效果,证明了方法的有效性。