摘要

随着船舶数量不断增加,AIS数据的数量持续增长,与此同时数据复杂和处理难度大等缺陷也日渐突出。为了分析大量的AIS数据并充分挖掘有效信息,文中构建了一个基于Spark、Hadoop和Mesos的AIS数据处理和分析平台,使用k-means算法对船舶数据进行聚类分析,获得更清晰的船舶航迹信息,并比较有、无安装Spark程序的计算机进行聚类分析时所需的时间。从实验结果看出,与非大数据平台相比,Spark集群中AIS船舶数据点的聚类分析速度大大提高。

  • 单位
    电子信息工程学院; 闽江学院