基于Scrapy框架的网络爬虫技术应用——以豆瓣网为例  

作　　者：阴国溶 李玉香[1] 

机构地区：[1]河北科技师范学院

出　　处：《中国宽带》2021年第10期87-89,共3页China BroadBand

基　　金：2020年河北科技师范学院大学生创新训练项目“优聘君”微信小程序(2020-83);2018年教育部产学合作协同育人项目“基于Python的数据分析与智能开发人才培养实践”(201801037002);“Python全栈开发人才培养实践”(201802057003)。

摘　　要：本文基于Scrapy框架,以Python语言为脚本,以豆瓣网站为例,设计并实现了对电影网站票房排名TOP250条数据关键字段信息的爬取,以及对爬取数据的过滤提纯,并存储结果数据。可利用该结果做进一步的数据分析处理,得出观众的口味喜好,电影行情的发展趋势,具有一定的经济效益。

关 键 词：PYTHON Scrapy框架 网络爬虫 豆瓣数据 

分 类 号：TP3[自动化与计算机技术—计算机科学与技术]