科研之友
微信
新浪微博
Facebook
分享链接
摘要
针对大规模数据场景下K-means聚类算法存在总体速度较慢的问题,提出了一种基于大数据流计算框架Apache Flink,并结合流处理思想的SK-means策略。从算法优化方面,采用流处理的思想在数据读入的过程中确定聚类的初始聚类中心;从实现方案上,选用Apache Flink框架设计了一种基于SK-means策略的优化方案,分析该策略对聚类效果和耗时的影响。实验结果表明:该策略在数据量较大的场景中有较好的优化效果,不需要预先假设出聚类数量和初始聚类中心的具体值,有效地降低了聚类迭代次数,降低了整体计算耗时。
-
单位国家信息中心; 北京信息科技大学
