伴随着计算机网络技术发展和IOT技术发展,利用传感器等设备采集到的数据量正在成倍增长,单台计算机无法满足存储,因此提出了利用网络技术实现数据分布式存储,解决了大数据存储问题。但是,如何对分布式集群中节点进行有效管理,成为当前集群中面临的一个新问题。本文针对集群框架和HDFS进行分析,提出了一种新的基于Hadoop集群下的数据智能分类算法-Canopy+K-means,解决K值智能选择和数据聚类。
科研之友
微信
新浪微博
Facebook
分享链接
