基于分布式计算框架的不一致数据修复算法

作者：于祥祥^*; 钟勇; 李振东; 韩啸

来源：计算机应用, 2019, S2: 164-168.

• 大数据
• 数据质量
• 不一致
• 条件函数依赖
• MapReduce

针对大数据环境下的数据不一致性问题,提出了基于MapReduce的不一致数据检测与修复算法。在传统函数依赖上引入语义约束的条件函数依赖(CFD),首先按照表达形式的不同把条件函数依赖分为常量条件函数依赖和变量条件函数依赖;然后对条件函数依赖集的一致性问题进行检测,确保条件函数依赖集之间不会产生冲突;接下来采用修改等价类的目标值解决条件函数依赖的违反;最后结合MapReduce不同阶段的运行特点,在map端和reduce端分别对违反常量条件函数依赖和变量条件函数依赖数据进行修复。实验结果表明在错误率相同的情况下,基于条件函数依赖的算法比传统算法的准确率更高、扩展性更好。

• 单位
  中国科学院大学; 中国科学院成都计算机应用研究所