基于逆向清理的实时异构数据整合模型研究  

Study of Real-time Heterogeneous Data Integration Model Based on Reverse Cleaning

作　　者：唐钰[1] 陈浩[1] 叶柏龙[2] 

机构地区：[1]湖南大学信息科学与工程学院,长沙410082 [2]中南大学土木建筑学院,长沙410083

出　　处：《计算机工程》2012年第23期47-50,共4页Computer Engineering

基　　金：国家自然科学基金资助项目(61070194);国家创新基金资助项目(11C26214305383)

摘　　要：为解决异构数据整合过程中数据源本身的质量及目标数据的实时更新问题,在适配器、XML和逆向清理等技术的基础上,提出一种基于逆向清理的异构数据整合模型。从两方面对异构数据进行处理,一方面利用实时线程对新增或修改的原始数据进行抽取、清洗并保存,达到数据的实时更新,另一方面利用平台上或整合后的有效数据,采用逆向清理过程反向修复原始数据中的错误和缺失。实验结果证明,该模型能同时提高原始数据和目标数据的质量。In order to solve the problems of target data updated in real time and the quality of data source itself in the process of heterogeneous data integration,on the basis of the adapter,the XML and reverse data cleaning technology,a real time heterogeneous data integration model based on reverse data cleaning is presented.It processes heterogeneous data in major two ways.On the one hand,it uses real time threads to extract,clean and save the original data that is newly increased or modified.On the other hand,it uses the reverse cleaning process reverse to fix errors and missing in the original data by the valid data in platform or integration.Experimental result shows that the model can improve the data quality of the target data and the original data simultaneously.

关 键 词：异构数据 数据整合 逆向清理 ETL过程 适配器 数据质量 

分 类 号：TP311[自动化与计算机技术—计算机软件与理论]