实时数据采集中的数据清理技术  

Data Cleaning Technique in Real Time Data Collection

作　　者：郝善勇[1] 刘玉树[1] 丁亚军[2] 张健 

机构地区：[1]北京理工大学计算机科学工程系,北京100081 [2]中国航天电子基础技术研究院,北京100076

出　　处：《微电子学与计算机》2000年第1期31-34,共4页Microelectronics & Computer

摘　　要：在许多实时采集数据的应用中，往往会由于各种原因产生误差，在一定程度上影响对这些数据的使用效果。文章所研究的目的是在数据采集过程中及时检测出这些“可疑数据”，利用回归诊断技术，正确建立数学模型，实时判断出可疑数据，并将其记录下来。使用文中提出的检测方法，可以有效地检查出各类可疑数据，并且应用在许多实时采集数据的场合，算法复杂度低，能满足实时采集的需求。使用经过清理的数据，可以提高决策判断的可信度。Sometimesin the utilization ofthe realtine data collection, errors may be produced because of many reason ,andtheerrorscan reducetheimpression of using ofthe data more orless.The purpose ofthis paperis to check the “suspicious data”during real time data collecting .Using regression diagnostics and establishing correct data model, we can check and recordthe suspicious data in realtime. This method can check and inspect many kinds of suspicious data effectively. The complexity ofthe algorithm is rather low , and it can fit the need of real time data collecting. Hence the confidence of prediction and decision could be raised by using the cleaned data.

关 键 词：数据清理 数据采集 数据库 金融市场 

分 类 号：TP274.2[自动化与计算机技术—检测技术与自动化装置] F830.9[自动化与计算机技术—控制科学与工程]