网络蜘蛛的设计与实现  

Design and Implementation of Web Spider

作　　者：陈瑜芳[1] 何克右[1] 

机构地区：[1]武汉理工大学计算机科学与技术学院,武汉430063

出　　处：《现代计算机》2009年第11期141-144,148,共5页Modern Computer

摘　　要：从网络蜘蛛的介绍出发,阐述网络蜘蛛的搜索策略以及相关算法,并介绍网络蜘蛛MySipder的具体设计与实现,包括网页解析、重复链接分析、DNS解析、网络通信等内容。该系统经实际运行,效果良好,给出有待进一步改进的地方。Starts from the introduction of Web spider, expounds search strategies and related algo- rithms, and introduces the design and implementation of Web spider named MySipder, including Web page analysis, repeated link analysis, DNS resolution and network communication. This system has been proved to be feasible, and gives some aspects to be improved.

关 键 词：网络蜘蛛 布隆过滤器 爬行策略 

分 类 号：TP391.3[自动化与计算机技术—计算机应用技术]