现有并行FP-Growth算法在挖掘项之间具有层次关系的事务数据时存在冗余项集大、效率低的缺点。针对上述问题,提出一种基于Spark的改进FP-Growth并行算法,建立词典树与FP-tree结合的双层层次化结构(词典频繁模式树,LFP-tree)。在具有主次层次关系的事务数据库中挖掘对象与属性的关联规则,减少多余搜索时间,利用Spark框架在内存计算和迭代计算上的优势完成剪枝、候选项集生成等工作。实验结果表明,该算法显著减少冗余项集的产生,在效率上优于FP-growth算法。
科研之友
微信
新浪微博
Facebook
分享链接
