融合LSTM-Attention和CNN模型的文本分类方法

作者：储天启; 陈秀明^*; 王先传; 徐伟

来源：安庆师范大学学报(自然科学版), 2023, 29(03): 89-94.

DOI：10.13757/j.cnki.cn34-1328/n.2023.03.016

• 长短时记忆网络
• 卷积神经网络
• 注意力机制
• 文本分类

针对文本分类中长短时记忆网络在提取局部信息时存在的局限性问题，本文提出了融合LSTM-Attention和CNN的文本分类模型。在结构上，首先使用LSTM提取全局序列信息，并通过注意力机制对LSTM输出添加权重，再通过三层卷积神经网络提取原文的局部信息。此外，在卷积神经网络中采取的是串行结构并且有选择性地将原始输入信息与CNN输出相融合。然后，将两者的输出信息进行组合以得到全新特征并用Softmax得到每个类别的概率，最终在THUCNews数据集上准确率达到96.8%。通过实验对比发现，本文提出的模型在文本分类任务中可以得到更好的分类效果。

• 单位
  阜阳师范大学