一种基于MapReduce的并行异常检测方法及系统

作者:齐小刚; 胡秋秋; 刘立芳; 冯海林; 胡绍林
来源:2018-06-09, 中国, ZL201810590567.7.

摘要

本发明属于门适用于特定应用的数字计算或数据处理的设备或方法技术领域,公开了一种基于MapReduce的并行异常检测方法及系统,根据需求将存放在Hadoop分布式文件系统上的数据集随机切分为多个数据块;利用MapReduce框架并行计算各块中数据点的局部异常因子,并用k#distinct#neighbor替换k#nearest#neighbor;将各块中LOF值大于设定阈值的数据点合并重新计算其LOF值。MR#DLOF在处理大量数据时的执行效率明显优于LOF算法。