科研之友
微信
新浪微博
Facebook
分享链接
摘要
自然语言处理(NLP)研究从早期基于规则的方法转向基于特征分析的机器学习,再转向无需事先进行特征抽取的深度学习,发展很快,但因其需要的文本数据量越来越大,模型训练所需的标注工作量巨大,对算力的要求也越来越高,而难以被广泛应用。基于Transformer的预训练语言模型(T-PTLM)提供了一个新的研究和应用路径:通过大规模无标注文本数据广泛学习语言现象,使模型具有很强的通用性,然后将模型进行迁移和微调,在NLP的许多具体任务应用中均取得了很好的效果。
-
单位沙洲职业工学院
