基于BERT的唐卡文本分类研究

作者：王昱^*

来源：现代计算机(专业版), 2021, 27(33): 99-104.

• 预训练模型
• 双向长短期记忆网络
• 卷积神经网络

当今经济和社会不断发展,管理和保护唐卡信息越来越重要。为更方便地管理保护唐卡文本信息,需要进行唐卡领域文本分类。对于唐卡领域文本分类任务,首先提出使用BERT进行编码获得语句的上下文特征信息,再使用卷积神经网络提取语义的局部特征,最终通过全连接层进行分类。通过在唐卡领域文本数据集上进行实验,F1值达到90.54%,比TextCNN模型高出3.22%,比BERT模型高出1.99%。实验结果证明了BERT-CNN对于唐卡文本分类的有效性。

• 单位
  西北民族大学