“天网”目录导航服务研究  

On the Directory Navigation Service in Tianwang

作　　者：冯是聪[1] 单松巍[1] 龚笔宏[1] 张志刚[1] 李晓明[1] 

机构地区：[1]北京大学计算机科学技术系,北京100871

出　　处：《计算机研究与发展》2004年第4期653-659,共7页Journal of Computer Research and Development

基　　金：国家"九七三"重点基础研究发展规化基金项目 (G19990 3 2 70 6)

摘　　要：为了提高搜索引擎的查准率 ,帮助用户快速地定位其感兴趣的网页 ,研究了如何在Spider式搜索引擎“天网”系统中提供目录导航服务 基本思想就是利用有指导的机器学习方法实现中文网页的自动分类 主要贡献有两点 :①搜集并建立了一个面向中文网页并且支持层次模型的大规模中文网页数据集 ,这是实现中文网页自动分类的前提和基础 ;②针对中文网页信息的自身特性以及CHI方法的固有缺陷 ,提出一种自动清除“噪音”的特征选取算法 ,并实现了一个能够处理海量中文网页的分类器 实验结果表明该分类器有较高的分类质量 。To improve the precision of search engine and locate user interesting Web page promptly, an investigation is made of how to provide directory navigation service in Tianwang, a spider style search engine The main idea is to implement Chinese Web page categorization automatically using supervised machine learning technology There are two important contributions in this paper: ①a large scale Chinese Web page data set in a hierarchy model is gathered and built, and it is the basis and premises to implement the Chinese Web page classification automatically; ②in consideration of the features of Chinese Web page and the inherent faults of CHI method, a new feature selection algorithm is implemented, which can reduce noise automatically A classifier for massive Chinese Web pages is implemented The experimental results demonstrate that the classifier is effective and can satisfy category navigation service of search engine

关 键 词：搜索引擎 目录导航 WEB挖掘 中文网页分类 

分 类 号：TP393[自动化与计算机技术—计算机应用技术]