基于注意力机制的CRNN文本分类算法

作者：陈榕; 任崇广^*; 王智远; 曲志坚; 王海鹏

来源：计算机工程与设计, 2019, 40(11): 3151-3157.

DOI：10.16208/j.issn1000-7024.2019.11.015

• 文本分类
• 卷积神经网络
• 注意力机制
• 双向门控循环单元
• Highway网络
• 词向量

为增强文本特征的表达能力,提出一种基于注意力机制(Attention)的卷积循环神经网络(CRNN)的文本分类算法。把预训练好的词向量作为输入,使用卷积神经网络(CNN)提取文本向量的特征;利用双向门控循环单元(BiGRU)捕获文本中的词序信息,提取文本的上下文依赖关系并结合Attention机制识别不同特征的重要性;使用Highway网络进行特征优化。将该模型在20Newsgroups、SST-1和SST-2这3个英文语料上进行实验,实验结果表明,该模型有效提高了分类任务的准确率。

• 单位
  山东理工大学