基于Heritrix的增量式爬虫设计与实现  

作　　者：孟庆浩[1,2] 王晶[1,2] 沈奇威[1,2] 

机构地区：[1]北京邮电大学网络与交换技术国家重点实验室 [2]东信北邮信息技术有限公司

出　　处：《电信技术》2014年第9期97-101,101+99-100,共5页Telecommunications Technology

基　　金：国家973计划项目(No.2013CB329102);国家自然科学基金资助项目(No.61372120;61271019;61101119;61121001);长江学者和创新团队发展计划资助(No.IRT1049);教育部科学技术研究重点(重大)项目资助(No.MCM20130310);北京高等学校青年英才计划项目(No.YETP0473)

摘　　要：Heritrix是一个开源的、可扩展的Web爬虫,页面下载功能强大,但Heritrix被定义为一个通用网络爬虫,其在增量爬取方面功能有限。针对目前使用较为广泛的两个Heritrix版本,首先讨论Heritrix 1.14.4增量功能模块的不足之处,然后基于Heritrix 3.x,详细阐述一套新的增量功能框架的设计方案,这个框架既能有效利用Heritrix 3.x的页面下载功能,又能高效地对数据进行增量抓取。

关 键 词：HERITRIX 网络爬虫 增量抓取 Index型网页 

分 类 号：TP393.092[自动化与计算机技术—计算机应用技术]