基于Hadoop生态系统的工业实时数据及历史数据分析

作者：刘昇; 鲁延灵; 王海峰; 周洋

来源：中国设备工程, 2020, (23): 32-33.

• Hadoop
• 生态系统
• 实时数据
• 历史数据
• 分析

随着大数据相关技术的发展与运用,传统制造业实现"智能制造",需要将大数据相关技术应用到企业中,但目前制造业的信息系统对大数据管理还面临许多问题,难以适应当前制造业发展的需求。随着Hadoop生态系统的不断完善,我们对数据的存储、分析能力得到极大地提高。Hadoop生态系统基于HDFS文件系统的分布式、可靠、高可用性工作。我们的大数据平台也是在这个基础上融合消息中间件保证了数据一致性,一定程度上防止了数据丢失的问题;并且添加了缓存机制进行实时数据的处理。在这个基础上充分解决了对数据的存储、丢失问题;也解决了对数据的分析计算、保证业务数据一致性等问题。

• 单位
  广东中烟工业有限责任公司; 北京航天拓扑高科技有限责任公司