科研之友
微信
新浪微博
Facebook
分享链接
摘要
针对当前z研究所各类业务系统数据孤立、信息不通等问题，为打通系统壁垒，实现数据联通，统一归类共享，并为后续数据挖掘分析提供底层支撑，文章研究实现了一种基于大数据架构的异构系统数据集成方法。根据z研究所典型业务系统多源异构等特征，结合多类别数据特性，融合多模式数据处理机制，通过设计一种高效且完备、安全可拓展的统一数据集成架构，并结合先进的大数据框架和技术进行实现，可定时、增量、并行地对多类异构系统实现数据统一抽取、转换和加载到数据仓库中，同时在实现过程中加入灵活便捷的可配置机制，使该方法更适用于实际多场景应用。该方法已在z所内决策支持系统建设过程中实际应用，完成项目管理、ERP等应用系统的数据集成，其面向异构数据源集成的高效性、准确性和灵活性都得到了有效的验证。
