基于Heritrix的网络爬虫研究与应用  

Design and Implementation Based on Heritrix Spider

作　　者：刘高军[1] 夏景隆[1] 

机构地区：[1]北方工业大学,北京100144

出　　处：《软件导刊》2013年第5期123-125,共3页Software Guide

基　　金：北京市教委科技发展计划项目(KM201310009001);国家科技支撑项目(2012BAH04F03)

摘　　要：主要介绍了主题搜索引擎、网络爬虫的基本概念和Heritrix系统的体系结构,分析了Heritrix的工作流程,在Heritrix框架的基础上进行扩展和优化。通过一个实例,实现了对京东网图书信息的抓取,为建立面向图书信息的垂直搜索引擎提供了网页信息资源。This paper introduce the essential concepts of topic search engine and Web crawler, as well as the architecture of Heritrix, analyze the working process of Heritrix, and successfully grabbing the information of some books info by expan- ding Heritrix, which provides the information source for creating topic search engine oriented to books information.

关 键 词：网络爬虫 主题搜索引擎 HERITRIX URL地址去重 BKDRHash算法 

分 类 号：TP393[自动化与计算机技术—计算机应用技术]