流处理技术在水利物联网领域的应用

作者：孙如飞; 张焱; 陈瑞祥^*; 孙飞飞; 陈龙赞

来源：人民黄河, 2021, S2: 264-267.

• 流处理
• Apache Kafka
• 水利物联网

物联网在水利行业的快速发展使实时数据处理成为一项重要的业务,然而数据源多样、数据格式复杂、数据并发度大等问题给实时数据处理带来了巨大挑战,迫切需要引入流处理技术。Apache Kafka作为一个优秀的流处理框架,具备高强度实时数据负载能力。基于此框架,将流处理技术应用于数据清洗、数据拆解、数据诊断等水利实时数据处理业务当中,显现了其强大的数据驱动能力与算法融合能力,表明流处理技术在水利物联网领域具备广阔的应用前景。

• 单位
  宁波市水利水电规划设计研究院