融合注意力和裁剪机制的通用文本分类模型

作者：崔雨萌; 王靖亚^*; 刘晓文; 闫尚义; 陶知众

来源：计算机应用, 2023, 43(08): 2396-2405.

• 深度学习
• 文本分类
• 注意力机制
• 裁剪机制
• 通用型模型

针对当前分类模型通常仅对一种长度文本有效，而在实际场景中长短文本大量混合存在的问题，提出了一种基于混合神经网络的通用型长短文本分类模型（GLSTCM-HNN）。首先，利用BERT(Bidirectional Encoder Representations from Transformers)对文本进行动态编码；然后，使用卷积操作提取局部语义信息，并构建双通道注意力机制（DCATT）对关键文本区域增强；同时，使用循环神经网络（RNN）捕获全局语义信息，并建立长文本裁剪机制（LTCM）来筛选重要文本；最后，将提取到的局部和全局特征进行融合降维，并输入到Softmax函数里以得到类别输出。在4个公开数据集上的对比实验中，与基线模型（BERT-TextCNN）和性能最优的对比模型（BERT）相比，GLSTCMHNN的F1分数至多分别提升了3.87和5.86个百分点；在混合文本上的两组通用性实验中，GLSTCM-HNN的F1分数较已有研究提出的通用型模型——基于Attention的改进CNN-BiLSTM/BiGRU混联文本分类模型（CBLGA）分别提升了6.63和37.22个百分点。实验结果表明，所提模型能够有效提高文本分类任务的准确性，并具有在与训练数据长度不同的文本上以及在长短混合文本上分类的通用性。

• 单位
  中国人民公安大学