基于数据分析的关键词类网络爬虫设计  

Design of Keywords Web Crawler Based on Data Analysis

作　　者：田晓玲[1] 方园[1] 贾民政[1] 赵熙雅 TIAN Xiaoling;FANG Yuan;JIA Minzheng;ZHAO Xiya(School of Electrical and Information Engineering,Beijing Polytechnic College,Beijing 100042,China)

机构地区：[1]北京工业职业技术学院电气与信息工程学院,北京100042

出　　处：《北京工业职业技术学院学报》2018年第4期36-43,共8页Journal of Beijing Polytechnic College

基　　金：2018年北京工业职业技术学院科研课题(BGZYKY201829)

摘　　要：随着互联网的飞速发展,互联网用户人数和互联网信息飞速增长,使得人们越来越依赖搜索引擎。网络爬虫为搜索引擎中的一个重要的组成部分,是用户获取有效网络资源的强大工具。通过对网络爬虫基本结构、基本工作流程进行分析,利用Python实现1个利用关键词进行爬取资源的爬虫,对资料类、资讯类、问题疑难类、新技术类4大类资源进行爬取,并按照需要对数据及数据类别进行分析,具有一定的实用性。With the rapid development of internet,the number of internet users and internet information grow rapidly,people are relying more and more on search engines.Web crawler,which is an important part of search engines,is a powerful tool for users to obtain effective network resources.By analyzing the basic structure and workflow of Web crawler,this paper proposes to use Pythan to realize a crawler using keywords to crawl the resource data,the information data,the problem data and the new technology data,and analyzes the data according to the need,which has certain practicability.

关 键 词：网络爬虫 搜索关键词 PYTHON 

分 类 号：TP393[自动化与计算机技术—计算机应用技术]