摘要

大规模预训练模型的开发,有助于降低人工智能应用难度。近年来,以谷歌和微软为代表的头部科技公司发布了BERT、GPT-3等里程碑式的预训练模型,提高模型效能,推动人工智能技术应用与普及。