融合BERT词嵌入和注意力机制的中文文本分类

作者：孙红; 陈强越

来源：小型微型计算机系统, 2022, 43(01): 22-26.

• 文本分类
• 自然语言处理
• BERT
• 深度学习

文本分类是自然语言处理的一个重要领域.近年来,深度学习的方法被广泛应用于文本分类任务中.在处理大规模的数据时,为了兼顾分类的精度和处理效率,本文使用BERT训练词向量作为嵌入层,进一步优化输入语句的词向量,然后用双层的GRU网络作为主体网络,充分提取文本的上下文特征,最后使用注意力机制,将目标语句重点突出,进行文本分类.实验证明,BERT作为嵌入层输入时,有效优化了词向量.同时,文本提出的BBGA模型具有高效的处理能力,在处理THUCNews数据集时,达到了94.34%的精确度,比TextCNN高出5.20%,比BERTRNN高出1.01%.

• 单位
  上海理工大学