科研之友
微信
新浪微博
Facebook
分享链接
摘要
针对某些数据集中不同属性对类别产生的影响程度有所不同,提出了属性权值的概念,用于改进C4. 5决策树算法。通过计算得到不同属性在分类过程中对类别的重要程度,分别赋予不同属性不同的权值,以不同权值计算属性信息增益率,从而找到最佳决策属性;同时将算法运行在HDFS集群,通过Hadoop平台控制多台计算机同时处理待分类数据集,以并行的方式构造决策树。实验结果表明,改进的C4. 5算法在处理不同属性对分类结果影响程度不同的数据时比传统C4. 5算法具有更高的准确率,并且由于程序并行运行,能够更加高效地处理大型数据,具有很好的可扩展性。
- 单位
