面向数据质量的ETL过程建模与实现

作者：贾自艳; 黄友平; 罗平; 李嘉佑; 秦亮曦; 史忠植

来源：系统仿真学报, 2004, 16(05): 907-911+914.

DOI：10.3969/j.issn.1004-731X.2004.05.012

• 数据仓库
• 数据质量
• 抽取-转换-装载(ETL)
• 数据挖掘
• 数据清洗

为了给数据仓库提供高质量的数据,在数据装载到数据仓库之前必须经过数据的抽取-转换-装载(Extraction-Transformation-loading,ETL)这一系列的预处理工作。复杂性和可用性是制约ETL系统的两大基本问题。为解决这些问题,给出了ETL过程统一的体系结构设计,包括ETL元数据对象建模、ETL转换函数设计、ETL任务建模以及ETL任务模型的描述语言(XTDL)。基于该体系结构和设计思想开发出一个ETL系统—MSETL,目的是为多策略数据挖掘平台(MSMiner)提供高质量的数据。它提供友好界面并对ETL过程进行统一的元数据管理,包括:ETL转换函数的注册和删除;任务模型的生成、执行和删除等功能。

• 单位
  中国科学院计算技术研究所; 中国科学院研究生院