关于短文本匹配的泛化性和迁移性的研究分析

作者：马新宇; 范意兴; 郭嘉丰; 张儒清; 苏立新; 程学旗

来源：计算机研究与发展, 2021, 1-9.

• 短文本匹配
• 泛化性
• 迁移性
• 少样本
• 预训练语言模型

自然语言理解中的许多任务，比如自然语言推断任务，机器问答和复述问题，都可以看作是短文本匹配问题．近年来，大量的数据集和深度学习模型的涌现使得短文本匹配任务取得了长足的进步，然而，很少有工作去分析模型在不同数据集之间的泛化能力，以及如何在新领域中有效地利用现有不同领域中的大量带标注的数据，达到减少新领域的数据标注量和提升性能的目标．为此，重点分析了不同数据集之间的泛化性和迁移性，并且通过可视化的方式展示了影响数据集之间泛化性的因素．具体地，使用深度学习模型ESIM （enhanced sequential inference model）和预训练语言模型BERT（bidirectional encoder representations from transformers）在10个通用的短文本匹配数据集上进行了详尽的实验．通过实验，发现即使是在大规模语料预训练过的BERT，合适的迁移仍能带来性能提升．基于以上的分析，也发现通过在混合数据集预训练过的模型，在新的领域和少量样本情况下，具有较好的泛化能力和迁移能力．

• 单位
  中国科学院; 中国科学院计算技术研究所; 中国科学院大学