云环境下海量GPS、视频监控数据存储检索研究

作者:李勇; 唐国琴; 罗琅腾; 张天财; 杨涛
来源:电力大数据, 2022, 25(05): 85-92.
DOI:10.19317/j.cnki.1008-083x.2022.05.010

摘要

监控数据在不断增大,且80%以上为非结构化数据,利用传统关系型数据库存储管理时,占用机器内存较大,检索数据需对数据库全表扫描,管理性能低。为解决海量监控数据的存储与管理,采用HDFS分布式文件系统存储视频非结构化数据,研究设计Hbase属性信息表,利用Hbase分布式数据库存储属性信息,研究Hbase全局检索信息行键及MapReduce工作流程,构建检索,实现视频监控数据的检索。最终基于非结构化数据的检索技术以及分布式数据处理框架的研究,得到的海量监控数据存储与检索方案。

全文