一种结合TF-IDF方法和词向量的短文本聚类算法

作者：赵晓平; 黄祖源; 黄世锋; 王永和

来源：电子设计工程, 2020, 28(21): 5-9.

DOI：10.14022/j.issn1674-6236.2020.21.002

• 文本聚类
• 短文本
• TF-IDF
• 词向量
• 自然语言处理

随着在线社交网络平台(微信、微博等)和APP(网易、学习强国)的快速发展和应用,产生了海量短文本。针对这些海量短文本,传统的文本聚类方法存在聚类性能较差的问题。本文融合TF-IDF方法和词向量,提出了一种短文本聚类方法。首先,使用TF-IDF方法,提取短文本中TFIDF值靠前的TOP-N关键词作为短文本的特征词集合;其次,在Word2Vec工具的支持下,使用Skip-gram模型在海量语料中训练得到特征词的向量表示;最后,使用WMD距离计算短文本间的相似度。将所提方法应用于4个数据集,实验结果表示,该方法比传统的文本聚类算法具有更好的效果。

• 单位
  云南电网有限责任公司