科研之友
微信
新浪微博
Facebook
分享链接
摘要
现有基于相似度的短文本流聚类算法多数需要手动设置相似度阈值，且难以处理文本稀疏性问题。针对短文本流的特点和传统流聚类算法的局限性，提出基于情节记忆的短文本流聚类算法。将情节记忆思想融入流聚类算法，通过稀疏经验重放增强聚类的特征表示，并使用反向索引提高聚类效率。在线阶段通过新的相似度计算公式以及动态计算相似度阈值，将当前文本分配到现有集群或新集群，并且不断更新聚类特征。离线阶段通过聚类增强、语义再分配以及删除过时聚类，提高整体算法性能。基于公开和合成数据集的实验结果表明，相较于基准流聚类算法，所提算法在各项评价指标上均取得了较好的实验结果，并且对于文本数量较大的数据集，运行时间能减少1～3个数量级。
- 单位
