基于k-d树分区的聚类算法并行加速策略

作者：汪丽娟; 钱育蓉^*; 侯海耀; 张晗; 赵京霞; 赵燚

来源：计算机工程与设计, 2019, 40(12): 3437-3442.

DOI：10.16208/j.issn1000-7024.2019.12.013

• 数据分区
• 加速策略
• 性能优化
• 并行化
• 流式计算

针对传统K-Means算法存在准确率低、聚类速度慢的问题,从K-Means算法优化和Flink框架并行层面对K-Means算法优化。为避免算法陷入局部最优解,采用质心间最大距离原则选出k个质心;为提高大数据量下的K-Means聚类速度,提出用k-d树算法划分数据集实现操作算子并行化,设置多个TaskManager数目和CPU核数加速F-KMeans算法的执行。实验结果表明,较K-Means算法,F-KMeans算法的准确率提高了约3.6%;F-KMeans算法在DataSource耗时降低了45.45%,在其余阶段耗时平均降低了约28.57%。

• 单位
  新疆大学