摘要
由于重复数据和空缺数据数量多,电力技改大修项目数据清洗方法不能实现脏数据的有效清洗,为此研究基于数据仓库ETL技术的电力技改大修项目数据清洗方法。通过对多数据源的电力技改大修项目脏数据质量的评估,判断符合预期标准后进行数据挖掘;结合数据仓库ETL技术对重复数据记录进行清洗;运用切比雪夫定理处理电力技改大修项目数据空缺值来完成对电力技改大修项目数据的有效清洗。实验结果表明,运用该方法清洗数据有效率最高,有效提高了数据的质量,实现了对数据的高质量清洗。
-
单位浙江华云电力工程设计咨询有限公司