基于Hadoop的车辆轨迹数据预处理

作者：胡思琴; 邬少飞^*

来源：工业技术创新, 2021, 08(03): 15-20.

DOI：10.14103/j.issn.2095-8412.2021.06.003

• 车辆轨迹数据
• Hadoop
• 数据预处理
• 分布式文件系统
• MapReduce
• 行驶纠偏

为了更有效地挖掘车辆轨迹数据,准确应用数据,为智慧交通服务,提出一种基于Hadoop的车辆轨迹数据分析和预处理方法。针对现有车载终端设备存在不规则数据较多、计算量较大、无法准确计算距离等问题,提出设计方案:采用Hadoop分布式文件系统(HDFS),实现小文件合并,提高运行效率;通过MapReduce并行计算和Hive数据仓库实现无效数据、时间错误数据、车速零点漂移数据、车速变化超出阈值数据,以及经纬度异常数据的清洗;根据轨迹点加速度、速度以及车辆状态等参数,预先判断轨迹点的可能位置,实现轨迹纠偏。对某车辆9天内的244 383条数据进行预处理测试,结果表明:14.97%的不规则数据得以清洗。将轨迹数据以可视化的形式展现在地图上,实现车辆在道路上的行驶纠偏功能,大大提高了轨迹数据的可用性。

• 单位
  武汉工程大学