基于Scrapy的研招网硕士目录爬虫的设计与实现  

作　　者：伍高巍 刘杰[1] 葛晓龙 徐望成 

机构地区：[1]南华大学计算机学院,湖南衡阳421001

出　　处：《电脑知识与技术》2022年第17期53-55,共3页Computer Knowledge and Technology

基　　金：2020年湖南省大学生实践创新训练项目:校园东街微信小程序的设计与开发(项目编号:S202010555141)。

摘　　要：研招网作为中国最大的研究生招考信息公布平台,资源丰富。目前主流的爬虫框架有Scrapy、pyspider与crawley,其中Scrapy为目前最流行的爬虫框架。因此,文中主要研究Python语言开发的开源爬虫框架Scrapy所开发的爬虫,对研招网硕士目录进行爬取,举例说明爬虫如何应对网站的反爬措施。

关 键 词：网络爬虫 Scrapy PYTHON 反反爬 研招网 

分 类 号：TP311.11[自动化与计算机技术—计算机软件与理论]