摘要

为提高数据质量,便于挖掘出更多隐藏的知识,提出基于中值滤波算法的含噪声数据检测方法。构建数据流模型,分析数据流特征,从传输、采集、离散操作等方面确定噪声数据来源;针对含噪声数据做预处理,利用最小二乘直线拟合方法补充缺失点,对所有数据完成异常程度评分,根据得分情况筛选出异常数据,减少检测工作量;设置滑动窗口确定数据中值,将该值当做中值滤波的输出,构建含噪数据检测架构;使用预测窗口方法,设置预测窗口尺寸,通过概率运算明确数值波动区间,若高于该区间则认为是噪声数据。实验结果表明,所提方法提高检测精度,能够有效减少漏检和误检现象,为后续分析提供高质量数据。