分布式Web信息采集系统的研究与设计  

Analysis and Design of Distributed Web Crawler

作　　者：李盛韬[1] 成绫[1] 余智华[1] 

机构地区：[1]中国科学院计算技术研究所软件研究室,北京100080

出　　处：《计算机工程与应用》2003年第16期162-166,182,共6页Computer Engineering and Applications

基　　金：中科院计算所领域前沿青年基金资助(编号:20016280-8)

摘　　要：Web信息的急速膨胀,使得Web信息采集面临一个巨大的挑战。针对这一情况,实现了一个分布式Web信息采集系统,以提高一般Web信息采集的能力。文章论述了分布式信息采集的基本原理、分类、难点以及相应的对策,并就该分布式Web信息采集系统进行了仔细的剖析。最后,对分布式Web信息采集的发展作了一个展望。Great enhancement on the web information brings to web crawler a big challenge.Facing this situation,this paper designs a distributed web crawler in order to improve capability of web crawler.This paper argues the principles,difficulties and measures of the distributed web crawler,and detailedly analyzes the SkyCollect distributed web crawler.Finally,it views the new direction of distributed web crawler.

关 键 词：信息采集 分布式 搜索引擎 信息处理 WEB 

分 类 号：TP391[自动化与计算机技术—计算机应用技术]