主题网络爬虫

作品数:54被引量:378H指数:8
导出分析报告
相关领域:自动化与计算机技术更多>>
相关作者:陆余良黄宇周俊临傅彦刘金红更多>>
相关机构:电子科技大学福州大学北京邮电大学中国海洋大学更多>>
相关期刊:《计算机与网络》《科技广场》《计算机应用》《舰船电子工程》更多>>
相关基金:国家自然科学基金湖北省高校图工委科研基金福建省社会科学规划项目福建省教育厅社会科学研究项目更多>>
-

检索结果分析

结果分析中...
条 记 录,以下是1-10
视图:
排序:
基于Python的考拉海购主题网络爬虫设计与实现被引量:2
《科技与创新》2024年第13期23-27,共5页杨博忠 朱思蕾 白静盼 
电商平台数据繁杂多样,由于信息爆炸,搜索结果会偏离实际。传统的搜索引擎无法满足用户的需求。基于此,提出基于Python的考拉海购主题网络爬虫设计与实现,旨在满足用户对特定商品信息的定制化需求。通过绕过网站反爬虫机制,获取了网页...
关键词:PYTHON 网络爬虫 数据可视化 数据分析 
主题网络爬虫研究综述被引量:1
《电脑知识与技术》2024年第8期97-99,共3页刘晓旭 
近年来,随着互联网技术的迅猛发展,互联网数据规模呈现出指数级增长的趋势。这些庞大的互联网数据在给人们生活带来便利的同时,也给信息的查找带来了巨大的挑战。传统的通用网络爬虫在面对越来越大规模的数据抓取工作时,逐渐显得力不从...
关键词:网络爬虫 主题爬虫 搜索策略 链接分析 相关度计算 
基于定制主题网络爬虫技术的不良信息检测系统设计被引量:1
《电子技术与软件工程》2022年第5期5-8,共4页沈冰 周亮 李娟 冯平 刘瑾 
本文从营造绿色网络环境出发,在5G网络和大数据时代背景下,大量不良信息在网络环境上以几何速度广泛传播,污染了网络环境,面对庞大的网络信息资源,为加强互联网不良信息监控管理和收集,设计了一种基于定制主题网络爬虫技术的不良信息检...
关键词:检测系统设计 主题网络爬虫 数据采集 
详解4种类型的爬虫技术被引量:1
《计算机与网络》2021年第6期37-38,共2页傅一平 
聚焦爬虫技术聚焦网络爬虫也就是主题网络爬虫,它增加了链接评价和内容评价模块,其爬行策略实现要点就是评价页面内容以及链接的重要性。基于链接评价的爬行策略,主要是以Web页面作为半结构化文档,其中拥有很多结构信息可用于评价链接...
关键词:主题网络爬虫 聚焦爬虫 WEB结构 聚焦网络爬虫 爬行策略 页面内容 爬虫技术 链接价值 
PageRank算法在主题网络爬虫中的应用被引量:1
《北京印刷学院学报》2020年第10期143-147,共5页于林轩 李业丽 曾庆涛 
北京科技创新服务能力建设项目(PXM2016_014223_000025);广东省科技重大专项项目(190826175545233)。
随着网络信息技术的不断发展,网络上充斥着大量的各类被称为大数据的非结构化数据。然而,这些数据不容易被存储到本地数据库中进行访问和处理。人们渐渐地意识到,高效率地从各式各样、含有大量干扰的网络上获得最新有用的信息至关重要...
关键词:爬虫 PAGERANK 主题 
基于校园分布式主题网络爬虫技术基础框架实现研究
《电子世界》2020年第20期66-67,共2页袁小玲 
作为Internet的一部分,校园网蕴含着丰富的信息,各高校对构建和谐校园网的重视程度不断提升,为提高校园网信息质量,需对校园网内部进行有效管理,并且对外部网络上的信息也需做到动态掌握,避免不良信息带来的校园管理安全隐患。本文主要...
关键词:主题网络爬虫 网络爬虫技术 动态搜索 校园网 高校网络信息 基础框架 互联网信息 监控手段 
针织原料价格的主题网络爬虫设计与实现被引量:4
《针织工业》2020年第9期23-25,共3页石云瑞 蒋高明 
国家自然科学基金(61772238,61602212);泰山产业领军人才(tscy20180224)。
网络数据形式的多样性以及复杂程度对数据获取造成影响,为了能在互联网中获取自身需要的个性化数据,实现数据自动收集整理,利用数据库技术和主题网络爬虫技术,并将Python作为主要开发语言,设计基于Python的主题网络爬虫系统,实现针织原...
关键词:PYTHON语言 网络爬虫 针织原料价格 智能化 数据采集 
区域煤矿瓦斯灾害风险预警数据采集技术研究被引量:18
《工矿自动化》2020年第7期57-63,共7页李明建 赵旭生 谈国文 宋志强 廖成 
国家重点研发计划资助项目(2018YFC0808305)。
以各级煤矿安全监管监察部门、矿业集团公司对辖区内所有煤矿瓦斯灾害风险宏观预警为出发点,指出区域煤矿瓦斯灾害风险预警基础数据具有多源、异构、海量、多维等特征,数据采集存在信息不全面及模式单一、维度固化等问题;将区域煤矿瓦...
关键词:区域煤矿 瓦斯灾害风险预警 数据采集 跨平台Web API 主题网络爬虫 
基于知识库的垂直搜索引擎的设计与构建
《高校图书情报论坛》2020年第2期46-51,共6页黄宇 
2018年湖北省高校图工委科研基金项目“湖北工业大学机构知识库研究与构建”(编号:2018YB16)的研究成果之一。
随着互联网数据的高速增长,充沛的网络资源丰富了人们的生活,但同时也为人们准确查找信息带来了困难。通用搜索引擎虽能全面覆盖所有的资源,但人们很难从通用搜索引擎获取自己想要的特定领域的信息。面对这个问题,作者将主题知识库嵌入...
关键词:垂直搜索引擎 主题网络爬虫 知识库 
基于主题网络爬虫思想的Web数据挖掘算法探讨被引量:1
《景德镇学院学报》2020年第3期66-68,共3页景冰 
本文提出一种基于主题网络爬虫思想的Web数据挖掘算法,通过主题网络爬虫尽可能对Web数据进行分类整合处理,促进页面检索效率的提升,在此基础之上与贝叶斯网络算法相结合,基于关联规则对Web数据进行挖掘,并通过仿真实验的方式验证整套算...
关键词:主题网络爬虫 数据挖掘 算法 
检索报告 对象比较 聚类工具 使用帮助 返回顶部