基于MapReduce改进K-NN的大数据分类算法研究

作者：蒋华; 韩飞; 王鑫; 王慧娇

来源：微电子学与计算机, 2018, 35(10): 36-40+45.

DOI：10.19304/j.cnki.issn1000-7180.2018.10.007

• 大数据
• MapReduce
• k-近邻算法
• 临界区域
• 主成分分析
• 距离加权

针对传统k-nearest neighbor algorithm(K-NN)分类算法计算量大、高维度海量数据集处理效率低的缺点,本文基于Hadoop平台依托MapReduce分布式编程模型改写Map和Reduce函数,并针对传统K-NN提出数据集主成分分析和临界区域数据预测时距离加权的方法.首先,对高维度数据进行主成分分析达到降维的目的,从而提高运行效率;其次,在预测分类阶段加入完全区域和临界区域的概念,临界区域对k个值n种类别进行距离加权,提高准确率;最后,在Hadoop集群环境下的算法运行,针对海量数据进一步提高其运行效率.实验结果表明:该算法在处理海量数据时极大地提高了计算效率和准确率.

• 单位
  桂林电子科技大学