煤矿设备状态大数据平台架构及关键技术研究

作者:曹现刚; 马晨飞*; 王云飞; 段雍; 霍小泉
来源:煤炭技术, 2023, 42(01): 222-224.
DOI:10.13301/j.cnki.ct.2023.01.047

摘要

针对目前煤矿设备运行状态数据规模不断增大,结构化、非结构化数据并存,存储和查询效率低的现状,设计了一种基于Hadoop的煤矿设备运行状态大数据平台。采用Hadoop分布式文件系统(HDFS)实现设备文件数据的可靠存储,并采用HBase数据库实现结构化数据的持久存储,同时通过MapReduce对大量小文件处理过程中产生的资源消耗问题做了优化。实验表明,该平台实现了对煤矿设备状态大数据的高效存储与处理,为设备维护提供了很好的支持,并为智慧矿山的建设奠定数据基础。