基于python的聚焦网络爬虫数据采集系统设计与实现  

作　　者：杨国志 江业峰[1] 

机构地区：[1]辽宁科技大学,辽宁鞍山114000

出　　处：《科学技术创新》2018年第27期73-74,共2页Scientific and Technological Innovation

摘　　要：人类社会已经进入大数据时代了,随着互联网的迅猛发展,种类繁多,数量庞大的数据随之产生,作为辅助人们检索信息工具的搜索引擎也存在着一定的局限性,如:不同领域,背景的用户往往具有不同的检索目的和需求,通用搜索引擎所返回的结果包含大量用户不关心的网页。为了解决这个问题,网络爬虫系统应运而生。众所周知,搜索引擎从互联网中靶向性筛选出有用信息,而网络爬虫又是搜索引擎的基础构件之一。本文实现了一个基于python语言的聚焦网络爬虫,利用关键字匹配技术对目标网站进行扫描,得到所需数据并抓取。

关 键 词：搜索引擎网络爬虫 PYTHON 网页分析算法 

分 类 号：TP393[自动化与计算机技术—计算机应用技术]