连续时间区间内的频繁词序列挖掘算法

作者：王璐; 刘晓清; 何震瀛

来源：计算机工程, 2022, 48(02): 79-91.

DOI：10.19678/j.issn.1000-3428.0060269

• 频繁词序列
• 后缀树
• 数据挖掘
• 频繁项集
• 热点话题检测

查询文本中频繁出现的短语可快速掌握文本内容,然而传统频繁词序列挖掘算法面向挖掘任务时的时间复杂度较高,无法满足频繁更换查询条件及快速获得反馈的查询需求。利用基于频率树的快速频繁词序列挖掘算法(TSMining),在保持后缀树线性构造时间的情况下实现文本集合中频繁词序列的查询,并采用树型索引结构避免多次扫描文本集合,降低算法时间复杂度。针对连续时间区间内的频繁词序列查询问题,提出改进的剪枝挖掘算法(TSPruning),通过减少频率树的扫描范围进一步提高挖掘效率。实验结果表明,TSMining与TSPruning算法的运行时间相比经典Apriori挖掘算法约减少了2个数量级,具有更高的频繁词序列挖掘效率。

• 单位
  复旦大学