基于XLNet+BiGRU+Att(Label)的文本分类模型

作者：刘柏霆; 管卫利; 李陶深

来源：广西科学院学报, 2022, 38(04): 412-419.

DOI：10.13657/j.cnki.gxkxyxb.20221209.010

• 文本分类
• XLNet
• BiGRU
• 标签词
• 注意力机制

传统的词向量嵌入模型，如Word2Vec、GloVe等模型无法实现一词多义表达；传统的文本分类模型也未能很好地利用标签词的语义信息。基于此，提出一种基于XLNet+BiGRU+Att (Label)的文本分类模型。首先用XLNet生成文本序列与标签序列的动态词向量表达；然后将文本向量输入到双向门控循环单元(BiGRU)中提取文本特征信息；最后将标签词与注意力机制结合，选出文本的倾向标签词，计算倾向标签词与文本向量的注意力得分，根据注意力得分更新文本向量。通过对比实验，本文模型比传统模型在文本分类任务中的准确率更高。使用XLNet作为词嵌入模型，在注意力计算时结合标签词能够提升模型的分类性能。

• 单位
  南宁学院