爬虫系统

作品数：54被引量：125H指数：6
导出分析报告
相关领域：自动化与计算机技术更多>>
相关作者：杨溥郭军徐蔚然包铁崔逸群更多>>
相关机构：北京邮电大学华中科技大学携程计算机技术(上海)有限公司南京大学更多>>
相关期刊：《中国高新科技》《数字通信世界》《软件导刊》《数字技术与应用》更多>>
相关基金：国家自然科学基金国家科技支撑计划广东省自然科学基金上海市教育委员会重点学科基金更多>>
-
在结果中检索

检索结果分析

结果分析中...
共 条 记 录，以下是1-10
全选清除导出
参考文献引证文献引用追踪
视图：
排序：
网络舆情爬虫系统关键技术研究与应用
《中国新通信》2024年第19期63-65,共3页王小月 
产教融合背景下职业院校计算机专业技能型人才培养模式研究,项目编号:2023SJYB2367。
在网络舆情业务监测中,以传统爬虫的方式进行监测,容易产生监测效率低、成本高等问题,在此背景下,采用分布式爬虫技术,能够对网络舆情数据进行快速监测,进而进行数据的处理与分析,以此能够高效率感知舆情信息,进一步提升舆情管控与预防...
关键词：网络舆情 分布式 爬虫 预防 
一种构建爬虫系统的解构方法和工具箱
《应用科技》2024年第5期292-297,共6页李武第 
网络爬虫在科研和分析工作的数据收集阶段展现出了显著的优势,但现有爬虫系统需要复杂的分析方法及构建流程,阻碍了爬虫技术的广泛应用。针对上述问题,提出一种简单且有效的爬虫系统分解方法。首先,将复杂的爬虫系统分解为多个子系统,...
关键词：数据获取 深度学习 爬虫系统 软件支持 链接池 链接预测 系统解构 工具箱 
基于Storm的可扩展的分布式网络爬虫系统设计研究
《电脑知识与技术》2024年第20期89-91,共3页池国俊 
为提高分布式网络爬虫的速度和性能,文章应用Storm云平台,提出了分布式网络爬虫系统的设计方案。首先,针对传统单机网络爬虫技术过于落后,无法满足现代化日益增长的数据抓取使用需求等问题,严格遵循系统设计原则,运用Storm云平台等技术...
关键词：STORM 可扩展 分布式 网络爬虫 系统设计 
基于Python的视频数据爬虫系统设计与实现被引量：1
《广播电视网络》2024年第1期110-112,共3页陈太沁 
随着网络视频数据的爆发式增长,为快速获取网络视频数据信息,针对网络视频平台的网络爬虫技术应运而生,其能够在短时间内提取有价值的信息数据,解决人工统计低效的问题。本文以某视频网站为研究对象,采用Python语言设计聚焦式爬虫程序,...
关键词：PYTHON 爬虫程序 视频网站 
一种基于Context Graph主题爬虫系统的算法实现被引量：1
《兰州文理学院学报（自然科学版）》2022年第6期41-45,共5页高庆芳 蒲宝卿 包蕾 
对搜索引擎的原理结构进行深度剖析,经可行性认定后,将机器学习算法与现有的技术手段进一步融合提升,以Python为开发平台,以Context Graph为开发主题,构建并设计出可实现的目标爬虫系统.通过实际运用检测系统的实用性能,选择国内具有较...
关键词：搜索引擎 主题爬虫 文本分析 机器学习 
基于Java多线程的智能图片爬虫系统的研究与实现被引量：2
《电脑知识与技术》2022年第22期55-57,共3页黄子纯 蔡敏 
针对在传统的爬虫系统中,按照一定规则自动抓取相关信息时,通常包含大量的无效信息这一问题,提出了一种基于Java多线程的智能图片爬虫系统。该系统以爬取图片为例,利用HttpClient、JSoup、WebMagic框架以及线程池技术,实现了在传统爬虫...
关键词：网络爬虫 多线程 HTTPCLIENT JSoup WebMagic 
基于协同过滤推荐算法的第二课堂学习系统架构被引量：2
《江苏海洋大学学报（自然科学版）》2021年第4期87-93,共7页李慧 王修锐 陈艳艳 韩国凯 侯鹏飞 刘鑫堂 从建炜 
国家自然科学基金资助项目(72174079);江苏省“333工程”项目(BRA2020261);连云港市第六期“521高层次人才培养工程”项目;教育部产学合作协同育人项目(201902159041);江苏省高等教育教改研究课题(JGX2019011ZZ)。
随着互联网技术的飞速演化,网络学习资源愈加纷繁复杂。在计算机网络及IT领域,软件工程专业的编程语言、软件开发框架等软件开发技术日新月异,这对学习者及时了解和掌握新的知识,特别是高等学校学生选择合适的学习资料并接受答疑带来了...
关键词：第二课堂学习系统 推荐系统 Spring Boot框架 爬虫系统 
基于Python的中国大学MOOC网站爬虫系统设计与实现
《课程教育研究》2021年第30期77-78,共2页邹兴宇 
福建省教育厅中青年教师教育科研项目(科技类)“基于Scrapy框架的网络爬虫系统的设计及其在教育领域的应用”(项目编号JAT191700)。
当今已进入大数据时代,网络爬虫成为数据获取的有效手段,获得广泛应用。但在教育领域,尤其是职业教育领域的相关应用较少。随着国家职教改革各项政策的逐步落实,职业教育目前正处于快速发展期,职业教育课程资源建设也显得尤为重要。本...
关键词：PYTHON 爬虫 SELENIUM MOOC 职业教育 
基于Scrapy框架的分布式网络爬虫系统设计与实现被引量：7
《现代信息科技》2021年第19期43-46,共4页周毅 李威 何金 程蕾 柳璐 
国家电网有限公司科技项目:提高技术创新能力及群众性创新课题研究(2021YF-86)。
针对传统单机网络爬虫抓取效率低、稳定性差、数据量少等问题,文章利用Scrapy框架结合Redis技术,对传统网络爬虫框架进行改进和优化,设计出了分布式非结构化的网络爬虫系统,使采集到的信息能以非结构化形式存储于MongoDB数据库内,实现...
关键词：分布式 Scrapy框架 网络爬虫 
更正
《软件》2020年第11期15-15,共1页
本刊2020年第10期《基于Python的招聘信息爬虫系统设计》一文,作者孙亚红,基金项目为:西安翻译学院教学改革项目《基于用户画像的个性化教学研究》(项目编号:J20B35);本论文得到西安翻译学院《数据结构》课程教学团队(T1801)项目资助。
关键词：《数据结构》课程 PYTHON 爬虫系统 项目资助 用户画像 基金项目 个性化教学 教学团队 
全选清除导出
共6页<123456>
检索报告 对象比较 聚类工具 使用帮助 返回顶部