一种PSTLDA中文文本相似度计算方法

作者：张超; 陈利; 李琼

来源：计算机应用研究, 2016, 33(02): 375-383.

• 词性标注
• LDA模型
• PSTLDA模型
• 文本相似度计算

为了降低中文文本相似度计算方法的时间消耗、提高文本聚类的准确率,提出了一种PSTLDA(词性标注潜在狄利克雷模型)中文文本相似度计算方法。首先,对文本中的名词、动词和其他词进行词性标注;然后,分别对名词、动词和其他词建立相应的LDA主题模型;最后,按照一定的权重比例综合这三个主题模型,计算文本之间的相似度。由于考虑了不同词性的词集对文本相似度计算的贡献差异,利用文本的语义信息提高了文本聚类准确率。将分离后的三个词集的LDA建模过程并行化,减少建模的时间消耗,提高文本聚类速度。在TanCorp-12数据集分别用LDA和PSTLDA方法进行中文文本相似度计算模拟实验。实验结果显示,PSTLDA方法不仅减少了建模时间消耗,同时在聚类准确率上有一定的提高。

• 单位
  汉口学院; 华中师范大学