海量数据的一种集合模糊匹配关联算法

作者：娄鑫坡; 孔玉静

来源：河南城建学院学报, 2020, 29(02): 70-75.

DOI：10.14140/j.cnki.hncjxb.2020.02.012

• 海量数据
• 集合
• 模糊匹配关联

在海量数据背景下,在实际数据匹配关联时,集合数据往往因失真而不能做到精确匹配,再者由于数据量的急剧增加导致匹配之后的一般关联操作效率较低。因此,本文借助优化后的分布式处理策略提出了一种在Hadoop平台下进行集合模糊匹配度的关联算法(A Fuzzy Matching Linking Algorithm about Set under Hadoop,FMLASH)。在相同实验环境下,FMLASH算法与MRSimJoin算法相比,在处理时间上缩小20%,并且FMLASH算法在增加节点数和数据量时表现出更好的可扩展性。

• 单位
  河南城建学院