数据同步技术在气象大数据云平台中的应用

作者：冯勇; 吕冠儒^*; 李微; 安浩然

来源：科学技术创新, 2022, (21): 96-99.

• Binlog
• Kafka
• 气象大数据云平台
• 数据同步
• 存储管理

为满足山东省气象预报、公共服务等气象业务对海量气象数据访问需求和毫秒级响应的时效需求，基于数据库变更日志Binlog和分布式消息服务Kafka技术，在省级气象大数据云平台中设计了一套气象数据同步框架，并通过存储管理系统（SOD）进行策略配置，解决了原有CIMISS数据环境在规模和性能上的服务瓶颈。实践证明：基于Binlog+Kafka的气象数据同步效率可达110000条/s,耗时延迟毫秒级，有效支撑了全省气象业务系统对海量气象数据的时效需求。

• 单位
  湖南省气象信息中心; 山东省气象局