大数据背景下网络爬虫框架的应用研究  

作　　者：方巍[1] 吴伶琳[2] 

机构地区：[1]江苏省太仓高级中学,江苏太仓215411 [2]苏州健雄职业技术学院,江苏太仓215411

出　　处：《电脑编程技巧与维护》2021年第12期93-96,共4页Computer Programming Skills & Maintenance

基　　金：2021年度校级横向课题项目“基于商业智能的客户关系管理系统的设计及测试”(项目编号202106);2019年江苏省《软件测试基础》在线课程。

摘　　要：在当前大数据背景下,企业面临数字化的转型升级,数据成为无形的资产。在对网络爬虫的产生背景和相关原理、流程进行研究的基础上,应用Python的网络爬虫框架Scrapy对网站信息进行爬取,提高了信息获取的效率和效果。实践表明,Scrapy框架简单易用,具有非常高的可行性、有效性,使用户有良好的体验,为相关人员开展数据爬取工作提供了借鉴。

关 键 词：大数据 Scrapy框架 网络爬虫 PYTHON语言 

分 类 号：TP311.13[自动化与计算机技术—计算机软件与理论] TP393.09[自动化与计算机技术—计算机科学与技术]