面向大学领域的聚焦爬虫设计与实现  

Design and Implementation of a University Focused Crawler

作　　者：甘国华[1] 刘梦赤[1] 胡婕[2] 

机构地区：[1]武汉大学计算机学院软件工程国家重点实验室,湖北武汉430072 [2]湖北大学计算机与信息工程学院,湖北武汉430062

出　　处：《山西大学学报（自然科学版）》2015年第2期223-234,共12页Journal of Shanxi University(Natural Science Edition)

基　　金：国家自然科学基金(61202100;61272110);国家留学基金([2013]3018);软件工程国家重点实验室开放基金(SKLSE2012-09-20)

摘　　要：如何从海量的Web资源中获取有用的信息是Web研究领域的重要研究内容。针对特定领域信息的获取,目前主要采用聚焦爬虫策略。该策略只爬取与主题相关的页面,忽略不相关页面。但目前的聚焦爬虫技术在爬行效率和页面质量两个方面仍存在一定的不足。因此,本文主要从这两个方面进行改进,并在此基础上设计和实现了一个面向大学领域的聚焦爬虫系统。该系统采用基于改进的Context Graphs方法的搜索策略和基于支持向量机(SVM)的目标页面分类器方法获取有用的资源。实验结果表明该系统在爬虫结果的收益率和准确率上分别提高了10%和8%。How to obtain useful information from massive Web resource is crucial in the field of Web research.The main method to obtain domain-specific resources on Web is the strategy of focused crawler and this strategy only traverses pages related to the topic while neglects those irrelevant ones.However,the present strategy of focused crawler has deficiency in crawling efficiency and page quality.This article tries to make some improvements in the strategy from these two aspects,based on which we design and implement a university-oriented focused crawler system.The system uses a search strategy based on improved Context Graphs and a target page classifier based on Support Vector Machine（SVM）to acquire useful resources.The experimental results show that the system increases the harvest and accuracy of the crawling result by 10% and 8%respectively.

关 键 词：特定领域 聚焦爬虫 大学领域 CONTEXT GRAPHS 支持向量机 

分 类 号：TP391[自动化与计算机技术—计算机应用技术]