基于主题的智能Web信息采集系统的研究与实现  

Research and Realization of Intelligent Focused Web Crawler

作　　者：李卫[1] 刘建毅[1] 何华灿[1] 王枞[1] 

机构地区：[1]北京邮电大学智能科学技术研究中心,北京100876

出　　处：《计算机应用研究》2006年第2期163-166,共4页Application Research of Computers

基　　金：国家"863"面向奥运的多语言智能信息服务系统课题资助项目(2002AA117010-07)

摘　　要：研究并实现了一个基于主题的智能信息采集系统IFWC,该系统以全信息理论为支撑,吸收传统向量空间模型的思想,采用基于概念的向量空间模型,从词的语义层次对文本进行主题相关性分析;使用扩展元数据的语义相关性判定算法,对页面内的URL进行主题相关性预测。实验证明,该系统采集速度快,采集下来的页面精度高。An Intelligent Focused Web Crawler（IFWC） is investigated detailedly. Supported by comprehensive information theory, Concept-based VSM is applied to filter the crawled web pages, while extended metadata semantic relevance algorithm for predicting the relativity between URL and topic, The result of experiments has shown that IFWC has more accurate and wider coverage for web pages relevant to a predefined set of topics.

关 键 词：基于主题的信息采集 全信息 扩展元数据 概念向量空间模型 

分 类 号：TP391.3[自动化与计算机技术—计算机应用技术]