基于数据质量控制的ETL  

Extract,transform and load(ETL) based on data quality control

作　　者：孙水华[1] 刘建华[1] 林志强[1] 

机构地区：[1]福建工程学院计算机与信息科学系,福建福州350108

出　　处：《福建工程学院学报》2011年第4期363-366,共4页Journal of Fujian University of Technology

基　　金：福建工程学院科研基金资助项目(GY-Z09072)

摘　　要：提出了一种基于数据质量进行控制的ETL技术,在传统的ETL操作流程中增加脏数据处理模块及抽样数据质量评估模块,并将数据质量控制思想融入到ETL的操作流程设计中,控制ETL过程的数据质量。实验表明,带有质量控制的ETL算法设计优化了ETL工作流程,提高了进入数据挖掘中数据的质量。Data extract,transform,and load（ETL） is the operation of data preprocessing for data mining,but the current technology of ETL cannot effectively control the quality of data.A technolo-gy of ETL based on data quality control（DQETL） was devised,in which a dirty data process module and data quality evaluation modules were added to the traditional ETL processes.Data quality control was integrated into the design of ETL.The experimental results indicate that the new techno-logy of ETL with data quality control can optimize the ETL workflow and improve the quality of data preparation for data mining.

关 键 词：ETL过程 脏数据处理 数据预处理 数据质量评估 

分 类 号：TP302.1[自动化与计算机技术—计算机系统结构]