基于Spark的并行频繁项集挖掘算法

作者：毛伊敏; 吴斌; 许春冬; 张茂省

来源：计算机集成制造系统, 2022, 1-27.

• 大数据
• Spark框架
• 并行频繁项集挖掘
• FP-Growth算法
• 非负矩阵分解

针对大数据环境下基于Spark的FP-Growth算法存在创建条件FP-tree时空效率低，节点间通信开销大，以及冗余搜索等问题，提出了基于Spark的并行频繁项集挖掘算法PAFMFI-Spark（Parallel algorithm for mining frequent itemsets based on Spark）。首先，该算法提出非负矩阵分解策略SNMF(A strategy of non-negative matrix factorization)，通过提供支持度计数查询和分解储存支持度计数的矩阵，解决了创建条件FP-tree的时空效率低的问题；其次，提出基于遗传算法的分组策略GS-GA(grouping strategy based on genetic algorithm)，均衡分配频繁1项集至各节点，解决了节点间的通信开销大的问题；最后，提出高效缩减树结构策略ERTSS(Efficiently reduce tree structure strategy)，缩减FP-tree树结构，解决了冗余搜索的问题。实验结果验证了PAFMFI-Spark算法的可行性以及相较于其他挖掘算法的性能优势，所提算法能有效适应各种数据的频繁项集挖掘。

• 单位
  建筑工程学院; 江西理工大学; 西安交通大学