基于农业领域的网络爬虫  

Web Crawler Based on Agricultural Sector

作　　者：吴菊英[1] 贾炅昊[1] 冯秀芳[1] 

机构地区：[1]太原理工大学计算机科学与技术学院,太原030024

出　　处：《电脑开发与应用》2012年第8期30-32,共3页Computer Development & Applications

基　　金：山西省科技基础条件平台建设项目(20110910003);太原理工大学大学生创新项目(101011230)

摘　　要：以农业环境为背景,在搜索引擎基础而又非常重要的部分——网络爬虫的基础上,提出了改进的爬虫设计,其中采用了主题相关性判断和网页选择器筛选的方法,并且通过建立对应的农产品词库,结果表明在农业领域的搜索相关性上有大幅度的提高。Using the agricultural environment as the background,propose the improving web crawler design based on the the search engine-based and very important part-the web crawler.It uses theme-related web pages to determine the nature of judgments and screening method selector,and the establishment of the thesaurus of agricultural products.The corresponding results show that the search in the agricultural sector on the relevance of a substantial increase.

关 键 词：网络爬虫 URL过滤 农业搜索 主题相关性 聚焦模型 

分 类 号：TP391[自动化与计算机技术—计算机应用技术]