Duplicate identification model for deep web  

一种deep web数据源下重复记录识别模型(英文)

作　　者：刘丽楠[1] 寇月[1] 孙高尚[1] 申德荣[1] 于戈[1] 

机构地区：[1]东北大学信息科学与工程学院,沈阳110004

出　　处：《Journal of Southeast University(English Edition)》2008年第3期315-317,共3页东南大学学报（英文版）

基　　金：The National Natural Science Foundation of China(No.60673139)

摘　　要：A duplicate identification model is presented to deal with semi-structured or unstructured data extracted from multiple data sources in the deep web.First,the extracted data is generated to the entity records in the data preprocessing module,and then,in the heterogeneous records processing module it calculates the similarity degree of the entity records to obtain the duplicate records based on the weights calculated in the homogeneous records processing module.Unlike traditional methods,the proposed approach is implemented without schema matching in advance.And multiple estimators with selective algorithms are adopted to reach a better matching efficiency.The experimental results show that the duplicate identification model is feasible and efficient.使用deep web数据源下重复记录识别模型对从多个deep web数据源中抽取出来的半结构化和无结构化的数据进行处理.首先,在数据预处理模块中将所抽取的数据生成实体记录的形式,然后,在异构记录处理模块中利用在同构记录处理模块所得到的权值,计算各实体记录的相似度,得到重复记录.与传统的重复记录识别模型不同,所提方法是在模式匹配未知的前提下实现的;并且采用带有可选算法的多个相似度估算器以达到更好的匹配效率.实验证明,该重复记录识别模型是可行且有效的.

关 键 词：duplicate records deep web data cleaning semi-structured data 

分 类 号：TP311[自动化与计算机技术—计算机软件与理论]