特征加权的CLSVSM

作者：牛奉高; 闫涛

来源：计算机与现代化, 2021, (05): 59-65.

• CLSVSM
• 特征加权
• TF-IDF
• 聚类

运用空间向量对文本信息进行合理且有效的表示对文本聚类以及检索的结果有较大影响。共现潜在语义向量空间模型(CLSVSM)深度挖掘了文本特征词之间的共现潜在语义信息并且提升了文本聚类的性能。本文在CLSVSM基础上先引入特征词词频信息,再将引入的词频作为权重赋予CLSVSM的共现强度,最终构建特征加权的CLSVSM。特征加权的CLSVSM在中文数据上的聚类效果如下:在F值方面,相比CLSVSM和Word2vec文本模型分别提高将近2.4%、5.2%,在熵值上相比90%CLSVSMK和Word2vec文本模型分别降低了将近3.1%、9.0%,相比词频CLSVSM和TF-IDF模型在聚类效果上都有所提高。在英文数据上聚类效果也与其他模型相当。特征加权的CLSVSM的稳定性有待提高,受限于关键词词频信息表达完整程度。

• 单位
  山西大学