水闸安全监测数据挖掘中的数据预处理方法  

Method of Data Preprocessing in Data Mining of Sluices Safety Monitoring

作　　者：于国卿[1,2] 汪自力[1,2] 顾列亚[1,2] 

机构地区：[1]黄河水利科学研究院,郑州450003 [2]水利部堤防安全与病害防治工程技术研究中心,郑州450003

出　　处：《南水北调与水利科技》2010年第4期115-118,共4页South-to-North Water Transfers and Water Science & Technology

摘　　要：为消除水闸监测数据集含有的冗余、噪声、不完整和不一致的情况,综合数据挖掘和数据仓库中的数据准备过程,提出了一种以水闸监测数据挖掘为应用目的的数据预处理方法。从确定水闸监测数据挖掘任务入手,将预处理过程归纳为输入、处理和输出三个阶段,对数据抽取、清洗、集成、转换、规约和装载等操作方法进行了分析,给出了监测数据预处理的流程和具体操作。以黄河水闸为例,应用上述方法进行了监测数据的预处理和数据挖掘,结果表明,提出的预处理方法能够构建适于挖掘的数据集,提高数据质量和挖掘效率。To eliminate the redundancies, noises, incompletion, and inconsistencies in the data set of sluice monitoring, a method of data preproeess ing to implement data mining is proposed by integrating the data preparation process in data mining and data warehouse. The method can be grouped into three phases, input, process and output. It begins with determining the tasks of sluice monitoring data mining, includes data extrac- tion,cleansing,integration,conversion,reduction, and load technologies. The method is used in the monitoring data preproeessing and data mining of sluices along the Yellow River. The results show that the preprocessing method proposed can be used to build data sets for data mining, and to improve the data quality and data mining efficiency.

关 键 词：数据挖掘 数据预处理 水闸 安全监测 

分 类 号：TV698[水利工程—水利水电工程] TP206[自动化与计算机技术—检测技术与自动化装置]