分布式Web数据爬取系统的分析与设计  

Analysis and Design of Distributed Web Data Crawling System

作　　者：潘巍[1] 晋松 Pan Wei;Jin Song(Harbin Huade University,Harbin Heilongjiang 150025,China;Harbin Institute of Electrical Instruments,Harbin Heilongjiang 150040,China)

机构地区：[1]哈尔滨华德学院,黑龙江哈尔滨150025 [2]哈尔滨电工仪表研究所,黑龙江哈尔滨150040

出　　处：《信息与电脑》2020年第2期78-80,共3页Information & Computer

摘　　要：笔者对典型的Web数据采集系统网络爬虫进行分析,研究了针对Web数据的分布式网络爬虫结构,并提出一种基于容错拓扑结构的分布式数据爬取结构,最后给出了分布式Web数据爬取系统的详细设计,希望能够为相关研究提供借鉴。This paper analyzes the typical web data acquisition system,web crawler,studies the distributed network crawler structure for web data,and proposes a distributed data crawling structure based on fault-tolerant topology.Finally,the detailed design of the distributed web data crawling system is given,hoping to provide reference for related research.

关 键 词：分布式 网络爬虫 容错拓扑结构 

分 类 号：P208[天文地球—地图制图学与地理信息工程]