网络爬虫

作品数:1618被引量:4599H指数:30
导出分析报告
相关领域:自动化与计算机技术更多>>
相关作者:宣琦张顺香傅晨波朱广丽蔡皖东更多>>
相关机构:北京邮电大学电子科技大学华中科技大学东南大学更多>>
相关期刊:更多>>
相关基金:国家自然科学基金国家社会科学基金国家高技术研究发展计划中央高校基本科研业务费专项资金更多>>
-

检索结果分析

结果分析中...
条 记 录,以下是1-10
视图:
排序:
Python网络爬虫技术在大数据处理中的应用
《微型计算机》2025年第6期55-57,共3页陈红 
伴随着大数据时代的到来,数据已成为企业决策和科学研究的重要依据。Python网络爬虫技术作为一种高效的数据采集手段,在大数据处理中发挥着越来越重要的作用。本文旨在探讨Python网络爬虫技术的核心组成部分,分析其在大数据处理中的应...
关键词:PYTHON 网络爬虫 大数据处理 数据采集 
基于网页结构的限定域的康养数据智能采集技术研究与实现
《价值工程》2025年第8期154-156,共3页代亮亮 杨熙 鄢超 徐蛟 
2023年贵州省科技厅课题《“互联网+智慧康养”产业服务模式与平台关键技术研究》(课题编号:黔科合支撑[2023]一般092);贵州装备制造职业学院科研项目(ZBKY-Y024);贵州省教育厅高等学校科学研究项目(青年科技人才成长项目)《基于区块链的健康医药协同创新资源共享技术研究》(课题编号:黔教技[2024]286号)。
随着人口老龄化的加剧,康养产业对数据的需求日益增长。康养数据的智能采集对于提升康养服务质量、优化资源配置以及实现个性化健康管理具有重要意义。本文从网页结构分析出发,结合网络爬虫技术,设计一种基于网页结构的限定域的康养数...
关键词:数据采集 网络爬虫 PYTHON 智能采集 
网络爬虫技术在XSS漏洞检测中的应用研究
《办公自动化》2025年第3期20-22,共3页刘飞飞 
山西工程科技职业大学教学改革项目,项目编号:GKDXJ202203,项目名称:新工科背景下网络工程技术职业本科专业转型升级对策研究。
针对Web应用程序中经常出现的攻击行为,文中阐述XSS漏洞攻击产生的原因及现状,介绍网络爬虫和XSS漏洞攻击的相关概念、分类及策略,分析利用网络爬虫技术实施XSS漏洞攻击检测的典型方案的工作原理、优点及不足,提出以攻击代码生成器为核...
关键词:WEB应用程序 XSS漏洞攻击 网络爬虫 攻击代码生成器 
基于网络爬虫和大数据技术的技术性贸易措施应对研究
《中国口岸科学技术》2025年第2期10-14,共5页李许 李珺 麦宝华 张伟亚 温志英 张宇君 索彦彦 
海关总署科研项目(2023HK136,2024HK076);深圳市技贸研究项目(ZXZJ20230616000097);宁波市公益项目(2023S047);深圳海关科研项目(2024SZHK002)。
本文通过对技术性贸易措施应对现状进行分析,探讨利用网络爬虫和大数据技术收集、整理、分析国外技术性贸易措施,快速、高效地为企业出口提供应对策略,并为推进技术性贸易措施信息化建设提出可行性建议,以进一步提升技术性贸易措施应对...
关键词:网络爬虫 大数据 技术性贸易措施 应对策略 
物联网海量不均衡数据组内方差SNM清洗算法
《现代电子技术》2025年第3期124-128,共5页伍阳 陈科基 
由于物联网数据通常是不均衡的,导致采集的数据集中各个类别的样本数量差异很大,无法准确反映其内部的方差情况,使得数据文本相似度较高,为此,提出物联网海量不均衡数据组内方差SNM清洗算法。使用网络爬虫技术爬取海量不均衡数据,对不...
关键词:物联网 不均衡数据 组内方差 SNM清洗算法 滑动窗口 网络爬虫 数据字段 约束条件 
基于Selenium和Ddddocr技术自动化网络爬虫设计与实现
《电脑编程技巧与维护》2025年第2期161-163,共3页唐磊 
重庆市教委科学技术研究项目(KJQN202303515)资助。
在大数据技术高速发展的今天,各行各业每天产生大量数据,这些数据可用于数据分析和实验研究,从而产生更大的价值。许多网站为防止数据被用户恶意爬取,采用了严格的反爬虫机制,导致用户无法正常使用传统网络爬虫技术爬取合理的数据。如...
关键词:Selenium技术 Ddddocr库 CHROME浏览器 pandas库 
基于大数据的装配式建筑密封胶应用性能与可靠性分析
《粘接》2025年第2期5-8,共4页李元元 
2022年度上海市职业教育协会课题研究项目(项目编号:SHZYJYXH-2023-Y12)。
为了提高建筑的整体防水性能和耐久性,分析基于大数据的装配式建筑密封胶应用性能可靠性。使用基于Python的网络爬虫技术构建装配式建筑密封胶相关专利功能语料库,以此为基础制备装配式建筑用硅烷改性密封胶。测试硅烷偶联剂用量为0.4%~...
关键词:装配式建筑 密封胶 表干时间 网络爬虫 硅烷偶联剂 
如何对海量的电商数据进行科学分析
《中国商界》2025年第1期226-227,共2页黄吉聪 
电子商务数据分析的关键技术分类概括数据收集与分类存储技术海量数据在收集方面也拥有多种技术路径。比如,在收集不同商家、产品的定价变化信息时,能通过编写程序、模拟用户在互联网上的行为自动抓取网页上存在过的数据。这种网络爬虫...
关键词:网络爬虫 用户评论 自动抓取 电子商务 数据收集 数据分析 互联网 技术路径 
基于PyTorch框架的不定长验证码抗干扰识别系统设计
《微型电脑应用》2025年第1期299-303,共5页常荣 
为了降低干扰信息对验证码识别效果的影响,提高不定长验证码的识别准确率,设计基于PyTorch框架的不定长验证码抗干扰识别系统。系统由采集模块、处理模块、识别模块三部分组成。采集模块利用网络爬虫获取验证码图像,并在图像处理模块中...
关键词:PyTorch框架 验证码 抗干扰识别 网络爬虫 LSTM网络 
基于网络爬虫的经济统计学专业人才需求分析
《中国管理信息化》2025年第2期157-159,共3页林哲 梁珊 王选飞 
广州市科技厅基础与应用基础研究项目“基于人工智能神经网络的高频时间序列预测模型与应用研究”(202201011273);2023年度广州城市理工学院大学生创新创业训练计划“基于文本挖掘的经济类专业人才供需匹配度分析”(SJ230117)。
企业对经济统计学专业人才的需求会随着时代变化、技术变革而发生变化。大数据时代,企业对经济统计学专业的用人需求问题亟待解决。文章基于智联招聘网站公布的招聘信息,利用文本挖掘、网络爬虫等技术获取经济统计学专业人才需求信息,...
关键词:经济统计学 人才需求 文本挖掘 社会网络分析 
检索报告 对象比较 聚类工具 使用帮助 返回顶部