一种通用Web信息采集系统的设计与实现  

Design and Realization of a General Web Crawler

作　　者：吴丽辉[1,2] 王斌[1,2] 余智华 

机构地区：[1]中国科学院计算技术研究所软件研究室,北京100080 [2]中国科学院研究生院

出　　处：《计算机工程》2005年第3期123-124,194,共3页Computer Engineering

摘　　要：介绍了一种通用的Web信息采集系统,给出了系统总体结构,分析了信息采集器、采集控制服务器和信息发布服务器,讨论了系统实际的应用。实践证明,该系统能够对Internet信息进行自动采集,并对今后的应用提供充分的支持,具有良好的通用性。The paper introduces the design and realization of a general Web crawler, presents the whole structure of the system, analyzes gather, control and data publish, discusses the practical applications. The experiment proves that the system can automate crawl Internet information and provide sufficiency support for following information applications, and have nice generality.

关 键 词：WEB信息 通用性 采集系统 服务器 信息发布 信息采集 设计 证明 实际 系统总体结构 

分 类 号：TP393[自动化与计算机技术—计算机应用技术] TP181[自动化与计算机技术—计算机科学与技术]