基于Selenium的网络爬虫分析与实现  

作　　者：樊涛 赵征 刘敏娟 

机构地区：[1]郑州升达经贸管理学院信息工程学院

出　　处：《电脑编程技巧与维护》2019年第9期155-156,170,共3页Computer Programming Skills & Maintenance

摘　　要：随着大数据时代的普及,各行各业每天会产生大量的数据。掌握核心数据,就掌握了公司的命脉,因此数据占极其重要的地位。如何去采集这些数据,并有效提取其中重要价值的数据并去分析是大数据时代最重要的部分。在网络爬虫中,可以利用各种规则爬取这些数据,但是一些动态网站中往往出现复杂的JavaScript加密算法反爬虫的安全措施,导致无法正常获取页面数据。通过Python操作Selenium登录网页,模拟人工操作浏览器,绕过这些反爬虫障碍,从而去获取页面的信息,完成信息的正常获取,大大节省了分析代码的时间。

关 键 词：大数据 网络爬虫 JavaScript脚本语言 反爬虫 PYTHON语言 Selenium框架 

分 类 号：TP393.092[自动化与计算机技术—计算机应用技术] TP311.13[自动化与计算机技术—计算机科学与技术] TP312.1