分布式网络爬虫设计  

作　　者：郭丙琴[1] 陈爱武[2] 

机构地区：[1]湖南科技学院教学质量管理处,湖南永州425199 [2]湖南科技学院电子与信息工程学院,湖南永州425199

出　　处：《湖南科技学院学报》2017年第6期21-22,共2页Journal of Hunan University of Science and Engineering

基　　金：2015年永州市科技计划项目(永科发[2015]9号No.22)

摘　　要：网络爬虫是互联网信息获取的重要工具之一,其性能的好坏直接影响到互联网信息检索的准确性,互联网信息复杂多变,造成传统方法的网络爬虫容易抓取到错误信息。论文在此基础上提出了一种并行和分布式技术进行设计,并通过招聘网页信息抓取的实验,实验结果证明该网络爬虫性能稳定,可以提升抓取信息的准确性。

关 键 词：分布式 网络爬虫 PYTHON 搜索引擎 

分 类 号：TP393[自动化与计算机技术—计算机应用技术]