基于CWMD和SP的微博话题发现算法

作者：孙悦; 罗倩^*; 方梁雨

来源：北京信息科技大学学报(自然科学版), 2021, 36(02): 76-81.

DOI：10.16508/j.cnki.11-5866/n.2021.02.013

• 词向量加权
• 余弦距离
• 词移距离
• 增量聚类
• 话题发现

针对传统微博话题发现算法中,计算文本距离时仅仅考虑词与词的距离和最小而产生的问题,提出了使用CWMD(cos-word mover’s distance)作为聚类标准的算法。结合余弦距离和WMD计算句子之间的相似性;使用TF-IDF向量代替WMD中词频权重向量,将所有词对文档的贡献纳入考量;使用CWMD代替传统的距离作为SP(SinglePass)聚类的标准;并且提出了构建文本待定池的SP算法,旨在避免话题发现过程中数据到达的先后顺序对结果产生的影响,从而提高话题发现的准确性。通过对中文语料数据库中的部分数据进行对比实验,证实了该话题发现模型效果更好。进一步将该模型应用到爬取的微博数据中,将提取的簇的关键词和微博热搜话题进行比对,结果显示二者具有很强的相关性。

• 单位
  北京信息科技大学