基于BERT-GAT-CorNet多标签中文短文本分类方法

作者：刘新忠; 赵澳庆; 谢文武; 杨志和^*

来源：计算机应用, 2023, S2: 18-21.

• 多标签文本分类
• 预训练模型
• 图结构数据
• 标签相关性
• BERT
• 图注意网络
• CorNet

多标签文本分类问题是多标签分类的一个重要内容，传统的多标签文本分类算法往往只关注文本本身的信息而无法理解深层语义信息，也未考虑标签之间的关系。为了解决这些问题，提出了融合BERT(Bidirectional Encoder Representation from Transformers)-GAT(Graph Attention neTwork)-CorNet(Correlation Network)的多标签文本分类模型。首先，通过预训练模型BERT表示文本的特征向量，并用生成的特征向量建立图结构数据；接着，用GAT来为不同节点分配不同的权重；最后，通过Softmax-CorNet学习标签相关性增强预测并分类。所提模型在今日头条子数据集（TNEWS）和KUAKE-QIC数据集上的准确率分别为93.3%和83.2%，通过对比实验表明，所提模型在多标签文本分类任务上性能得到了有效提升。

• 单位
  湖南理工学院