基于预训练模型和联合调参的改进训练算法

作者：苏海波; 刘译璟

来源：中国信息化, 2020, (02): 44-49.

<正>一、引言诸如BERT和Open-GPT等预训练语言模型的引入,为NLP研究和工业界带来了巨大的进步,这些模型的贡献可以分为两个方面。首先,经过预训练的语言模型使建模人员可以利用少量数据获得合理的准确性,这种策略与经典的深度学习方法相反,经典的深度学习方法需要大量的数据才能达到可比的结果。其次,对于许多NLP任务,例如SQ AD,CoQA,命名