Deep Web爬虫的一种增量式更新策略  

An Incremental Update Strategy of Deep Web Crawler

作　　者：卓林[1] 杨舟[1] 岳亮[1] 赵朋朋[1,2] 崔志明[1,2] 

机构地区：[1]苏州大学智能信息处理及应用研究所,江苏苏州215006 [2]江苏省现代企业信息化应用支撑软件工程技术研发中心,江苏苏州215104

出　　处：《苏州大学学报（工科版）》2011年第4期6-10,共5页Journal of Soochow University Engineering Science Edition (Bimonthly)

基　　金：国家自然科学基金资助项目(编号60970015);2008年江苏省重大科技支撑与自主创新项目(编号BE2008044)

摘　　要：为了在网络及计算机硬件等资源有限的前提下,最大限度地保证本地副本的"新鲜"程度,往往需要为Deep Web爬虫定制一个重爬机制。为了满足这种需求,提出了一种基于采样的增量式Deep Web更新方法,使用贪心策略分配爬虫资源,以最大限地的提高资源利用率。经实验验证,该方法取得了比较优异的结果。In the context of network and computer hardware resources,in order to to ensure the maximum ＂fresh＂ level of local copy,we need to design an unpdate method for crawler.To meet the demands,we propose a sampling based incremental Deep Web update method.This method uses the greedy strategy to allocate crawler resources for achieving maximum resource utilization.We verify this method experimentally to obtain excellent results comparation.

关 键 词：DEEP WEB 数据爬虫 增量更新 

分 类 号：TP391.3[自动化与计算机技术—计算机应用技术]