科研之友
微信
新浪微博
Facebook
分享链接
摘要
随着大数据时代的到来,企业管理着规模庞大的数据资产,为满足企业日常批量数据集成、数据批量共享交换、数据分析的需求,本研究针对企业日常批量数据集成、数据批量共享交换、数据分析的工作的现状和难点,以及传统集中式数据集成管理工具存在的不足,提出了分布式数据集成管理工具解决方案,通过多节点、多线程的作业模式和智能化作业调度关键技术研究,完成了分布式数据集成管理工具搭建,并进行了试点应用,完成50亿条数据的抽取转换工作从82小时缩短至16小时,12亿条数据的抽取转换工作从19小时的抽取工作缩短至4小时,有效提升了数据集成效率。
- 单位
