一种安全验证模式下Deep Web爬虫的研究  

STUDY ON A DEEP WEB CRAWLER IN SECURITY VALIDATION MODE

作　　者：徐和祥 张永忠 胡运发[2] 

机构地区：[1]上海远程教育集团,上海200433 [2]复旦大学计算机与信息技术系,上海200433

出　　处：《计算机应用与软件》2010年第5期9-11,26,共4页Computer Applications and Software

基　　金：国家自然科学基金重大项目(60736016);全国教育科学"十一五"规划教育部课题(FCB070468);上海市教育委员会科研创新项目(09YZ462)

摘　　要：Deep Web信息大约是Surface Web信息的400到500倍,这些信息对传统搜索引擎不可见。Deep Web爬虫的研究,是搜索引擎获得Deep Web信息的重要步骤,仍处于研究的早期阶段。目前对于爬虫的研究,主要成果集中在Surface Web,而很少有对Deep Web爬虫的研究。分析Deep Web的访问模式,并在此基础上提出一种安全验证模式下Deep Web爬虫的算法。试验表明:该算法可以有效实现特定安全验证模式下的Deep Web信息的抓取。The bulk of Deep Web pages is about 400 to 500 times larger than that of the Surface Web,but they are still invisible to traditional search engine.Deep Web crawler study is an important step for search engine in getting Deep Web information,which is still at its early stage.To date,in terms of the crawler study,existing outcomes mainly focus on Surface Web documents,and there is little on Deep Web.In this paper,we first analyze the access patterns of Deep Web,and then present a novel crawler algorithm for Deep Web in security validation mode.Experiments show that the algorithm is quite effective in realising fetching the Weep Web information in specific security validation mode.

关 键 词：DEEP WEB 安全模式 爬虫 信息抽取 

分 类 号：TP393[自动化与计算机技术—计算机应用技术]