基于GNP算法的分布式爬虫调度策略  

GNP-based scheduling strategy for distributed crawling

作　　者：刘爽[1] 姜春祥 张伟哲[1] 李东[1] 张鸿[3] 

机构地区：[1]哈尔滨工业大学计算机科学与技术学院,哈尔滨150001 [2]国家计算机网络应急技术处理协调中心黑龙江分中心,哈尔滨150001 [3]国家计算机网络应急技术处理协调中心,北京100029

出　　处：《计算机应用研究》2010年第2期446-449,共4页Application Research of Computers

基　　金：国家"973"重点基础研究发展计划资助项目(G2005CB321806);国家自然科学基金资助项目(60703014);高等学校博士学科点专项科研基金资助课题(20070213044);哈尔滨工业大学优秀青年教师培养计划(HITQNJS.2007.034)

摘　　要：针对分布式搜索引擎的任务调度及负载均衡问题,提出了基于GNP算法的分布式爬虫调度策略和负载均衡的方法。利用网络距离预估取代大规模的网络距离测量,不仅提高了系统的响应速度,还减少了系统对广域网造成的压力。通过在广域网上部署爬虫节点,构建分布式搜索引擎,应用该调度策略进行实验,验证了系统性能有较大提高。In order to solve task scheduling and load balancing problems of distributed search engines, this paper proposed a GNP-hased scheduling strategy for distributed crawling and a load balancing method. Adopted internet distance estimating mechanism as a replacement for large-scale network distance measurement, which not only improved response time of the system, but also reduced WAN pressure caused by the system. Through deploying crawling nodes at WANs, built a distributed search engine, and implemented several scheduling strategies. The online experiment shows great improvement in system＇ s performance.

关 键 词：分布式爬虫 任务调度 负载均衡 网络测量 全局网络定位 

分 类 号：TP309[自动化与计算机技术—计算机系统结构]