大数据挖掘算法在刷卡中的研究与应用

作者:高林; 高尚飞
来源:青岛科技大学学报(自然科学版), 2019, 40(06): 90-98.
DOI:10.16351/j.1672-6987.2019.06.013

摘要

面对海量的刷卡交易数据,普通的聚类算法和自然语言处理无法完成数据挖掘任务。本研究将MapReduce与K-means、FCM及HanLP算法相结合,不仅提高了海量数据聚类和语句分析的效率,而且可以挖掘出海量用户的刷卡行为特点,丰富和完善了客户画像。经过实验测试,基于MapReduce的聚类和自然语言分析算法运行在Hadoop集群下,不仅快速地实现了客户画像,帮助企业实现精准推销,而且为大数据环境下实现数据挖掘及自然语言分析算法的分布式并行运算提供了重要的参考和应用价值。