基于Python爬虫网站数据分析系统设计与实现  

Design and implementation of Python based crawler website data analysis system

作　　者：杨孟姣 杜棋东 Yang Mengjiao;Du Qidong(No.1 Middle School of Shimen County,Changde,Hunan 415300,China;Guangzhou railway Polytechnic)

机构地区：[1]湖南省石门县第一中学,湖南常德415300 [2]广州铁路职业技术学院

出　　处：《计算机时代》2022年第11期81-83,88,共4页Computer Era

基　　金：2018年广东省普通高校科研项目“面向地铁大客流的车站状态监测与预警仿真研究”(2018GKTSCX117)。

摘　　要：网络小说平台是全新一代知识存储空间,包含读者、作者、书籍等海量信息。为有效采集用户偏好数据,向用户精准推送相关信息,基于Python设计开发了小说网站数据分析系统。该系统包含数据采集、数据处理、数据分析展示、后台管理等模块。首先使用网络爬虫对小说网站进行数据爬取,然后对爬取的数据进行清洗,再对数据进行持久化存储、统计分析和展示。该系统具有高效获取、分析和处理网络小说平台数据的功能,具有实用价值。An online novel platform generates massive information such as readers,authors and books.A novel website data analysis system is designed and developed based on Python in response to the massive amount of data with complicated contents.The system includes modules for data collection,data processing,data analysis and display,and backend management.Its main functions include crawling the novel website,cleaning the crawled data,storing the data persistently,statistical analysis,and displaying data.It has certain practical value to develop a platform that can efficiently acquire,analyze and process this information.

关 键 词：网络小说 Python数据爬取 数据分析 

分 类 号：TP393[自动化与计算机技术—计算机应用技术]