U-Net:用于包含无答案问题的机器阅读理解的轻量级模型

作者：孙付; 李林阳; 邱锡鹏^*; 刘扬; 黄萱菁

来源：中文信息学报, 2021, 35(02): 99-106.

• 机器阅读理解
• SQuAD
• 注意力机制

处理机器阅读理解任务时,识别其中没有答案的问题是自然语言处理领域的一个新的挑战。该文提出U-Net模型来处理这个问题,该模型包括3个主要成分:答案预测模块、无答案判别模块和答案验证模块。该模型用一个U节点将问题和文章拼接为一个连续的文本序列,该U节点同时编码问题和文章的信息,在判断问题是否有答案时起到重要作用,同时对于精简U-Net的结构也有重要作用。与基于预训练的BERT不同,U-Net的U节点的信息获取方式更多样,并且不需要巨大的计算资源就能有效地完成机器阅读理解任务。在SQuAD 2.0中,U-Net的单模型F1得分72.6、EM得分69.3,U-Net的集成模型F1得分74.9、EM得分71.4,均为公开的非基于大规模预训练语言模型的模型结果的第一名。

• 单位
  复旦大学