基于BiLSTM-Attention-CNN混合神经网络的文本分类方法

作者：万齐斌; 董方敏; 孙水发

来源：计算机应用与软件, 2020, 37(09): 94-201.

DOI：10.3969/j.issn.1000-386x.2020.09.016

• 文本分类
• BiLSTM
• 注意力机制
• k-max池化
• CNN

BiLSTM和CNN网络在文本分类领域取得了较好的应用效果,二者的结合可以充分发挥CNN的特征提取能力和BiLSTM的上下文依赖能力,但是没有体现出每个词语在文本中的重要程度,无法将注意力集中在重要的词上。针对该问题,提出一种基于BiLSTM-Attention-CNN混合神经网络的文本分类方法。在BiLSTM层之后加入注意力机制(Attention)提取输出信息的注意力分值;注意力层之后,连接k-max池化层,提取前k个重要的词,增强模型特征的表达能力。在DBPedia和AGNews数据集上进行实验,结果表明,该模型相较于其他现有网络模型,分类准确率提高1～2个百分点。