Sp-IEclat:一种大数据并行关联规则挖掘算法

作者：李成严; 辛雪^*; 赵帅; 冯世祥

来源：哈尔滨理工大学学报, 2021, 26(04): 109-118.

DOI：10.15938/j.jhust.2021.04.015

• 大数据
• 关联规则挖掘
• 频繁项集
• Spark弹性分布式数据集
• MapReduce框架

针对大数据环境下关联规则数据挖掘效率不高的问题,采用Eclat算法使用垂直数据库将事务的合并转换成集合操作的方法。研究了一种大数据并行关联规则挖掘算法-Sp-IEclat(Improved Eclat algorithm on Spark Framework),该算法基于内存计算的Spark框架,减少磁盘输入输出降低I/O负载,使用位图运算降低交集的时间代价并减少CPU占用,采用前缀划分的剪枝技术减少求交集运算的数据量,降低运算时间。使用mushroom数据集和webdocs数据集在两种大数据平台下实验,结果表明,Sp-IEclat算法的时间效率优于MapReduce框架下的Eclat算法及Spark框架下的FP-Growth算法和Eclat算法。从对集群的性能监控得到的数值表明,同Spark框架下的FP-Growth算法和Eclat算法相比,Sp-IEclat算法的CPU占用和I/O集群负载都较小。

• 单位
  哈尔滨理工大学