基于BERT+ACRNN的唐卡文本关系分类算法研究

作者：王昱; 王铁君^*; 王鸿洋; 郭晓然

来源：高原科学研究, 2022, 6(02): 102-108.

DOI：10.16249/j.cnki.2096-4617.2022.02.011

• 唐卡文本
• 文本分类
• BERT-ACRNN模型
• 预训练模型
• 融合特征

唐卡领域知识图谱的构建，需要进行唐卡文本关系分类，但实验发现使用传统模型卷积神经网络（CNN）和长短期记忆网络（LSTM）时模型泛化能力弱且语义特征提取能力不足，最终效果不佳。文章提出一种BERT-ACRNN模型，该模型使用BERT预训练语言模型获得上下文语义信息，分别通过CNN和带自注意力机制的双向长短期记忆网络（Bi-LSTM）获得文本的局部特征信息与上下文特征表示，再将两种特征信息进行融合，最后进行关系分类。实验结果表明，BERT-ACRNN模型在唐卡领域文本数据集上，F1值达到93.23%，相比于BERT模型高出4.68%，与BERT-CNN、BERT-BiLSTM相比F1值分别提升了2.69%和2.81%。

• 单位
  西北民族大学