科研之友
微信
新浪微博
Facebook
分享链接
摘要
【目的】对谷歌发布的BERT语言表示模型的主要优化改进方法进行梳理,为后续基于BERT的相关研究开发提供借鉴。【文献范围】自BERT发布以来,到目前与BERT模型优化改进相关的41篇主要文献及相关模型。【方法】根据模型优化改进的技术路线,从改进预训练目标、融合外部知识库、改进Transformer结构和预训练模型压缩4个方面,分别阐述优化改进的方式及产生的效果。【结果】预训练目标优化和Transformer结构改进最早受到研究者关注,并且成为BERT模型优化改进的主要方式,随后预训练模型压缩及外部知识库的融合也成为新的发展方向。【局限】BERT模型相关研究发展迅速,可能未覆盖一些相关研究工作。【结论】研究者可重点关注预训练目标优化和Transformer结构改进方面的研究,同时考虑根据不同应用场景选择模型优化方向。
-
单位中国科学院武汉文献情报中心; 中国科学院文献情报中心; 中国科学院大学
