HERITRIX

作品数:76被引量:151H指数:6
导出分析报告
相关领域:自动化与计算机技术更多>>
相关作者:季士妍沈奇威朱敏苏希乐郭小丹更多>>
相关机构:中山大学北京邮电大学成都理工大学国家图书馆更多>>
相关期刊:更多>>
相关基金:国家自然科学基金长江学者和创新团队发展计划国家重点基础研究发展计划教育部科学技术研究重大项目更多>>
-

检索结果分析

结果分析中...
选择条件:
  • 基金=国家重点基础研究发展计划x
条 记 录,以下是1-2
视图:
排序:
一种爬虫监控系统的设计与实现被引量:2
《电信工程技术与标准化》2014年第12期74-78,共5页张军强 李炜 沈奇威 
国家973计划项目(编号:2013CB329102);国家自然科学基金资助项目(No.61372120;61271019;61101119;61121001);长江学者和创新团队发展计划资助(编号:IRT1049);教育部科学技术研究重点(重大)项目资助(编号:MCM20130310);北京高等学校青年英才计划项目(编号:YETP0473)
随着互联网爆炸式的发展,网络爬虫的重要性越来越重要。一个搜索引擎搜索结果的数量以及质量在一定程度上取决于网络爬虫爬取结果的质量,而如何能更好的组织这些爬虫也成了一件能影响爬虫效率的事情。随着在服务器上部署爬虫的增加,对...
关键词:网络爬虫 监控系统 HERITRIX 
基于Heritrix的增量式爬虫设计与实现被引量:6
《电信技术》2014年第9期97-101,101+99-100,共5页孟庆浩 王晶 沈奇威 
国家973计划项目(No.2013CB329102);国家自然科学基金资助项目(No.61372120;61271019;61101119;61121001);长江学者和创新团队发展计划资助(No.IRT1049);教育部科学技术研究重点(重大)项目资助(No.MCM20130310);北京高等学校青年英才计划项目(No.YETP0473)
Heritrix是一个开源的、可扩展的Web爬虫,页面下载功能强大,但Heritrix被定义为一个通用网络爬虫,其在增量爬取方面功能有限。针对目前使用较为广泛的两个Heritrix版本,首先讨论Heritrix 1.14.4增量功能模块的不足之处,然后基于Heritrix...
关键词:HERITRIX 网络爬虫 增量抓取 Index型网页 
检索报告 对象比较 聚类工具 使用帮助 返回顶部