基于Python语言的爬虫技术应用——以高校官网校园动态版块信息统计分析为例  

作　　者：陈奋[1,2] 张晓兰 

机构地区：[1]厦门城市职业学院人工智能学院,福建厦门361008 [2]厦门开放大学,福建厦门361008

出　　处：《厦门城市职业学院学报》2022年第3期86-91,共6页Journal of Xiamen City University

基　　金：福建省2020年中青年教师教育科研项目(科技类):大数据环境下基于python的网络爬虫技术研究(JAT201345);教育科学“十三五”规划2020年度课题:基于线上教学模式的高职教师教学监控能力提升策略研究(20037)。

摘　　要：进入了大数据时代,网络爬虫在网络中的应用越来越重要。面对巨量的网络数据,如何高效和自动地获取网络中有用的数据是非常重要的一个问题。将基于Python语言的爬虫技术应用于高校官网校园动态版块信息统计,可以自动高效地获取网络中的有用信息。基于网络爬虫的概念、http协议请求与响应以及requests库等关键技术,以爬取高校网站校园动态版块信息为案例来设计爬虫程序,可详细阐述爬虫的使用过程。

关 键 词：大数据 网络爬虫 PYTHON 

分 类 号：TP312[自动化与计算机技术—计算机软件与理论] TP391.3[自动化与计算机技术—计算机科学与技术]