基于大数据背景下的自动化主题爬虫系统设计  

作　　者：叶芳 方茜 

机构地区：[1]贵州师范学院数学与大数据学院,贵阳550000

出　　处：《电脑编程技巧与维护》2024年第11期3-5,30,共4页Computer Programming Skills & Maintenance

基　　金：贵州省教育厅青年科技人才项目(黔教技(2022)258号)《贵州省线上农产品口碑的细粒度意见挖掘研究》;贵州师范学院一般项目(2022YB007)《基于深度学习的评价文本意见挖掘研究》;贵州省中小学地方(校本)课程教材建设研究基地2023年度课程教材研究课题(课题编号:2023GZKCJC0401)《大数据视域下基于混合增强的在线课程资源学习与共享平台研究》。

摘　　要：在大数据时代背景下,用户对数据采集的需求愈发迫切,同时对数据采集自动化处理提出了更高的要求。研究设计并实现了一个自动化的主题爬虫系统,该系统允许用户通过客户端提交的URL和关键词来创建爬虫任务,并自动化地收集与用户指定主题相关的数据反馈给用户。系统后端使用SpringBoot框架,以确保安全性和响应速度。数据采集利用Scrapy框架实现,采集到的数据经过清洗、转换后存储于MySQL数据库。该系统能够快速、准确地从海量数据中提取用户所需的信息,为数据分析和决策提供了强有力的技术支持.

关 键 词：主题爬虫 大数据 Scrapy框架 SpringBoot框架 MYSQL数据库 

分 类 号：TP311.13[自动化与计算机技术—计算机软件与理论] TP311.52[自动化与计算机技术—计算机科学与技术]