基于Fp-growth的分布式并行挖掘算法

作者：刘喜苹; 黄国芳; 刘雅筠

来源：数字技术与应用, 2021, 39(10): 55-57.

DOI：10.19695/j.cnki.cn12-1369.2021.10.18

<正>Fp-growth算法单机运算占用内存大、且耗时耗空间,挖掘大数据集时运算效率差。本文提出了一种基于Fp-growth的面向大数据集的分布式并行关联规则挖掘算法-DFp-growth算法(Distributed Fp-growth)。该算法在确保频繁项集挖掘数目不变的情况下利用数据链表将大数据集分解成多个子集,然后对分解得到的各个数据集子集用分布式并行方式进行挖掘。实验结果表明,数据集很大时,DFp-growth算法的运行速度比Fpgrowth快,而且数据集越大,并行计算节点越多,运算速度越快,分布并行运算的效率越高。但是当计算节点大到一定程度时,运算速度不增反减。

• 单位
  长沙南方职业学院