海量数据下基于Hadoop的分布式FP-Growth算法

作者：朱颢东; 薛校博; 李红婵; 孟颍辉

来源：轻工学报, 2018, 33(05): 97-108.

• FP-Growth算法
• Hadoop
• 数据分区
• 分布式计算

针对大数据环境下的关联挖掘问题,采取两次扫描数据库,将事务添加到相互独立的数据分区的方式,对传统FP-Growth算法进行分布式改造,进而提出了基于Hadoop框架的分布式FP-Growth算法以实现海量数据的频繁模式FP挖掘.仿真结果表明,在数据处理量逐渐增大的过程中,该算法相比较传统算法其运行时间和内存消耗的优势愈加明显,当数据处理量达到70万条时,该算法比传统算法节省约2/3的运行时间,而内存消耗仅为传统算法的1/5.说明该算法在处理海量数据时,能够显著提高FP的挖掘效率并降低内存的消耗量.

• 单位
  郑州轻工业学院