面向文本分类的BERT-CNN模型

作者：秦全; 易军凯^*

来源：北京信息科技大学学报(自然科学版), 2023, 38(02): 69-74.

DOI：10.16508/j.cnki.11-5866/n.2023.02.010

• 文本分类
• BERT模型
• 卷积神经网络
• 词向量

在深度学习中，Word2Vec、Glove和Fasttext等已成为在文本分类任务中获取词表示的主要方式，但其词向量都是静态表示的，无法充分提取语义信息。为了解决此问题，提高文本分类的精度，提出了BERT(bidirectional encoder representations from transformers)模型与卷积神经网络(convolutional neural networks, CNN)模型相结合的BERT-CNN模型。首先利用BERT中的自注意力机制获取词与词之间的语义关系，然后通过CNN提取文本特征，最后通过全连接层进行二分类。实验结果表明，在文本分类研究中，相比于Word2Vec-CNN和Glove-CNN,BERT-CNN在准确率上分别提升了10.07%和7.07%,效果有显著的提高。

• 单位
  北京信息科技大学; 自动化学院