基于Hadoop的高可用数据采集与存储方案

作者：袁昌权; 胡益群; 许光; 俞理超

来源：电子技术与软件工程, 2019, (18): 169-170.

• Hadoop
• Zookeerper
• Kafka
• Flume
• Hbase

本文提出了一种基于Hadoop、Zookeeper、Flume、Kafka、Hbase技术的数据采集与存储方案,能够解决Hadoop的单点故障问题,并提高数据采集和存储的效率。该方案依赖于Zookeeper集群构建高可用的Hadoop集群,通过Flume实现对模拟数据的采集,经过Kafka对数据进行缓存和分发,最终存储到Hbase中。该方案具备高稳定性、安全性和可扩展性,具有一定的应用指导意义。

• 单位
  中国船舶重工集团公司第七一五研究所