云环境下海量空间矢量数据并行划分算法

作者：姚晓闯; 杨建宇; 李林; 叶思菁; 郧文聚; 朱德海

来源：武汉大学学报(信息科学版), 2018, 43(07): 1092-1097.

DOI：10.13203/j.whugis20160271

• 矢量数据
• Hilbert编码
• 空间数据划分
• MapReduce
• R-tree索引
• 数据倾斜

空间数据划分是空间大数据索引方法及其数据存储的重要组成部分。针对Hadoop云计算平台在空间数据划分及其存储方面的不足,提出了基于Hilbert空间填充曲线的海量空间矢量数据并行划分算法。在数据划分阶段,充分考虑空间数据相邻对象的空间位置关系、空间对象的自身大小以及相同编码块的空间对象个数等影响因素;通过"合并小编码块,分解大编码块"的划分原则,实现了云环境下海量空间矢量数据的并行划分算法。试验表明,该算法不仅能够提高海量空间矢量数据的索引效率,同时也能够很好地解决空间矢量数据在Hadoop分布式文件系统(Hadoop distributed file system,HDFS)上的数据倾斜问题。

• 单位
  国土资源部土地整治中心; 中国科学院遥感与数字地球研究所; 中国农业大学