BERT-Single：半监督的话题检测与追踪方法

作者：侯博元; 崔喆; 谢欣冉

来源：计算机应用, 2022, 42(S1): 21-27.

DOI：10.11772/j.issn.1001-9081.2021091666

• 聚类
• 半监督学习
• 话题检测与追踪
• 预训练语言模型
• 新闻话题

针对无监督聚类方法在应用于话题检测与追踪任务时难以学习到深层语义特征及任务相关特征，K均值聚类、潜在狄利克雷分布（LDA）等方法无法用于增量式聚类的问题，提出基于预训练语言模型的BERT-Single半监督算法。首先使用小规模有标注数据训练预训练语言模型BERT，使BERT模型学习到任务特定的先验知识，生成能够适应话题检测与追踪任务且包含深层语义特征的文本向量；然后利用改进的Single-Pass聚类算法将预训练语言模型学习到的有标签样本信息泛化到无标签数据上，提升模型在话题检测与追踪任务上性能。在构建的数据集上进行实验，结果显示，相较于对比模型，BERT-Single模型精确率至少提升了3个百分点、召回率至少提升了1个百分点、F1值至少提升了3个百分点。BERT-Single模型对于解决话题检测与追踪问题具有较好效果，并能够很好地适应增量式聚类任务。

• 单位
  中国科学院大学; 中国科学院成都计算机应用研究所