摘要

<正>近年来,预训练语言模型的出现给自然语言处理领域带来了一场变革,成为人工智能技术发展的前沿和热点。大规模预训练可以有效缓解传统技术在特征工程方面面临的压力。通过学习通用语言表示,模型具备了语言理解和生成能力,几乎在所有自然语言处理任务上都取得了突破。因此,各类基准测试任务的效果显著提高,这展示了大规模预训练广阔的应用前景。

  • 单位
    中国工程院