随着人工智能应用的普及,自然语言处理作为认知智能的核心已经成为人工智能极大的挑战。以GPT、BERT为代表的预训练语言模型的兴起,使问答、摘要、阅读理解等多项自然语言处理任务取得一系列突破,效果显著提升。该文从预训练语言模型的概念、主流技术方法以及应用这3个方面,介绍主流预训练语言模型,以及在自然语言处理领域的影响。