融合BERT词嵌入和注意力机制的中文文本分类

作者：孙红; 陈强越

来源：小型微型计算机系统, 2021, 1-6.

• 文本分类
• 自然语言处理
• BERT
• 深度学习

文本分类是自然语言处理的一个重要领域。近年来，深度学习的方法被广泛应用于文本分类任务中。在处理大规模的数据时，为了兼顾分类的精度和处理效率，本文使用BERT训练词向量作为嵌入层，进一步优化输入语句的词向量，然后用双层的GRU网络作为主体网络，充分提取文本的上下文特征，最后使用注意力机制，将目标语句重点突出，进行文本分类。实验证明，BERT作为嵌入层输入时，有效优化了词向量。同时，文本提出的BBGA模型具有高效的处理能力，在处理THUCNews数据集时，达到了94.34%的精确度，比TextCNN高出5.20%，比BERT＿RNN高出1.01%。

• 单位
  上海理工大学