数据清洗及其一般性系统框架  

Data Cleaning and its General System Framework

作　　者：曹建军[1] 刁兴春[1] 陈爽[1,2] 邵衍振[3] 

机构地区：[1]总参第63研究所 [2]解放军理工大学指挥自动化学院 [3]中国人民解放军71435部队

出　　处：《计算机科学》2012年第S3期207-211,共5页Computer Science

基　　金：中国博士后科学基金特别资助项目(201003797);中国博士后科学基金项目(20090461425);江苏省博士后科研资助计划(0901014B);解放军理工大学预研基金项目(20110604)资助

摘　　要：数据清洗是提高数据质量的重要手段之一。从数据产品与传统的有形产品、软件产品相类比的视角,研究数据清洗及其系统框架。数据清洗是数据质量研究的起点,从数据质量发展的角度明确数据清洗的地位和作用,并将其类比为其他产品形式的故障诊断与维修。对数据清洗做了10点说明,进一步澄清了其基本内涵;将数据清洗与数据集成进行了比较分析,指出二者是同等的数据质量概念。提出了数据清洗的一般性系统框架,其由准备、检测、定位、修正、验证5部分组成,允许在多处停止以完成不同的数据清洗任务,是一个柔性的、可扩展的、交互性好的、松耦合的框架。数据清洗是提高数据质量的重要手段之一。从数据产品与传统的有形产品、软件产品相类比的视角,研究数据清洗及其系统框架。数据清洗是数据质量研究的起点,从数据质量发展的角度明确数据清洗的地位和作用,并将其类比为其他产品形式的故障诊断与维修。对数据清洗做了10点说明,进一步澄清了其基本内涵;将数据清洗与数据集成进行了比较分析,指出二者是同等的数据质量概念。提出了数据清洗的一般性系统框架,其由准备、检测、定位、修正、验证5部分组成,允许在多处停止以完成不同的数据清洗任务,是一个柔性的、可扩展的、交互性好的、松耦合的框架。

关 键 词：数据质量 数据清洗 相似重复记录 不完整记录 框架 

分 类 号：TP3[自动化与计算机技术—计算机科学与技术]