BERT编码与注意力机制结合的长文本分类研究

作者：陈洁

来源：计算机时代, 2023, (05): 136-144.

DOI：10.16644/j.cnki.cn33-1094/tp.2023.05.030

• 文本分类
• 预训练语言模型
• 注意力机制
• 特征向量
• PCA

预训练语言模型具有强大的特征表达能力但无法直接应用于长文本。为此，提出分层特征提取方法。在BERT允许的最大序列长度范围内按句子的自然边界分割文本，应用自注意力机制获得首块和尾块的增强特征，再利用PCA算法进行压缩获取主要特征成分。在THUCNews和Sogou数据集上进行5折交叉验证，分类准确率和加权F1-score的均值分别达到95.29%、95.28%和89.68%、89.69%。该方法能够提取与主题最相关的特征，提高长文本分类效果，PCA压缩特征向量能够降低分类模型的复杂度，提高时间效率。

• 单位
  中华女子学院