科研之友
微信
新浪微博
Facebook
分享链接
摘要
针对大数据集中存在海量数据，当数据规模扩大到一定程度时，离散点检测处理效率受到限制的问题，提出了一种基于分类和回归树（CART）决策树的网络大数据集离群点动态检测算法。首先，划分大数据集异常数据标准，利用方差衡量数据离散程度，使用支持向量机建立异常数据样本关联规则矩阵，明确大数据集异常数据范围，并通过动态网格划分策略降低离群点检测计算量；然后，运用CART决策树方法在分支节点采取布尔检测，将待检测数据统一拟作连续数据，升序排列训练数据集，计算数据最高信息增益，剪枝决策树直到没有非叶子节点可被替换，得到离群点动态检测结果。仿真结果证明，本文算法离群点检测准确率高、检测耗时短，具备显著的计算优势，能为大数据集的可靠应用提供积极帮助。
- 单位
