中国电信自主测评管理平台使用了Hadoop数据仓库工具Hive对基础数据进行合规性稽核,稽核后的数据通过Sqoop工具同步至Oracle关系数据库。针对多批次百万级数据量并行同步会导致Oracle负载过大影响正常OLTP的情况,通过应用Kafka消息队列,将Hive与Oracle之间的数据并行同步改为异步模式下可按需设置串行/并行同步,问题得到有效解决。
科研之友
微信
新浪微博
Facebook
分享链接
