基于Stacking-Bert集成学习的中文短文本分类算法

作者：郑承宇; 王新; 王婷; 尹甜甜; 邓亚萍

来源：科学技术与工程, 2022, 22(10): 4033-4038.

• 多基模型框架
• BERT预训练语言模型
• Stacking集成学习
• 短文本分类

由于word2vec、Glove等静态词向量表示方法存在无法完整表示文本语义等问题，且当前主流神经网络模型在做文本分类问题时，其预测效果往往依赖于具体问题，场景适应性差，泛化能力弱。针对上述问题，提出一种多基模型框架（Stacking-Bert）的中文短文本分类方法。模型采用BERT预训练语言模型进行文本字向量表示，输出文本的深度特征信息向量，并利用TextCNN、DPCNN、TextRNN、TextRCNN等神经网络模型构建异质多基分类器，通过Stacking集成学习获取文本向量的不同特征信息表达，以提高模型的泛化能力，最后利用支持向量机（support vector machine, SVM）作为元分类器模型进行训练和预测。与word2vec-CNN、word2vec-BiLSTM、BERT-TexCNN、BERT-DPCNN、BERT-RNN、BERT-RCNN等文本分类算法在网络公开的三个中文数据集上进行对比实验，结果表明，Stacking-Bert集成学习模型的准确率、精确率、召回率和F1均为最高，能有效提升中文短文本的分类性能。

• 单位
  云南民族大学