标签语义增强的弱监督文本分类模型

作者：林呈宇; 王雷; 薛聪

来源：计算机应用, 2022, 1-9.

• 弱监督文本分类
• BERT
• MASK机制
• 标签语义
• 标签噪声
• 自训练

针对弱监督文本分类任务中存在的类别词表噪声和标签噪声问题，提出了一种标签语义增强的弱监督文本分类模型。该模型首先基于单词上下文语义表示对类别词表去噪，从而构建高度准确的类别词表；然后构建基于MASK机制的词类别预测任务对预训练模型BERT进行微调，以学习单词与类别的关系；最后利用引入标签语义的自训练模块来充分利用所有数据信息并减少标签噪声的影响，以实现词级到句子级语义的转换，从而准确预测文本序列类别。实验结果表明，与目前最先进的弱监督文本分类模型LOTClass相比，所提方法在THUCNews、AG News和IMDB公开数据集上，分类准确率分别提高了5.29个百分点、1.41个百分点和1.86个百分点。

• 单位
  中国科学院信息工程研究所; 中国科学院大学