针对预训练过程中大规模训练语料句子长度跨度较大、特征数量不定的情况，提出一种基于动态多头注意力机制的藏文ALBERT语言模型。在训练过程中根据句子的词数动态获得注意力机制的头数，使语言模型可以捕获重要的特征信息，在藏文公开数据集TNCC上进行验证。实验结果表明，改进后的预训练模型能够动态学习句子中的重要特征，在目前的TNCC文本分类任务上F1值均取得最优，其长文本分类及短文本分类任务的Macro F1值分别为73.23%、64.47%。
科研之友
微信
新浪微博
Facebook
分享链接
