知识感知的预训练语言模型综述

作者：李瑜泽; 栾馨; 柯尊旺^*; 李哲; 吾守尔·斯拉木

来源：计算机工程, 2021, 47(09): 18-33.

DOI：10.19678/j.issn.1000-3428.0060823

• 自然语言处理
• 知识表征
• 语义知识
• 预训练
• 语言模型

随着自然语言处理(NLP)领域中预训练技术的快速发展,将外部知识引入到预训练语言模型的知识驱动方法在NLP任务中表现优异,知识表示学习和预训练技术为知识融合的预训练方法提供了理论依据。概述目前经典预训练方法的相关研究成果,分析在新兴预训练技术支持下具有代表性的知识感知的预训练语言模型,分别介绍引入不同外部知识的预训练语言模型,并结合相关实验数据评估知识感知的预训练语言模型在NLP各个下游任务中的性能表现。在此基础上,分析当前预训练语言模型发展过程中所面临的问题和挑战,并对领域发展前景进行展望。

• 单位
  新疆大学