PCCS部分聚类分类:一种快速的Web文档聚类方法  

PCCS:A FAST CLUSTERING AND CLASSIFICATION METHOD FOR WEB DOCUMENT

作　　者：王爱华[1] 张铭[1] 杨冬青[1] 唐世渭[2] 

机构地区：[1]北京大学计算机科学与技术系,北京100871 [2]北京大学视觉与听觉处理国家重点实验室,北京100871

出　　处：《计算机研究与发展》2001年第4期415-421,共7页Journal of Computer Research and Development

基　　金：国家重点基础研究发展规划"九七三"基金项目资助!(G19990 32 70 5 )

摘　　要：PCCS是为了帮助 Web用户从搜索引擎所返回的大量文档片断中筛选出自己所需要的文档 ,而使用的一种对 Web文档进行快速聚类的部分聚类方法 :首先对一部分文档进行聚类 ,然后根据聚类结果形成分类模型对其余的文档进行分类 .采用交互式的一次改进一个聚类摘选的聚类方法快速地创建一个聚类摘选集 ,将其余的文档使用 Nal¨ve- Bayes分类器进行划分 .为了提高聚类与分类的效率 ,提出了一种混合特征选取方法以减少文档表示的维数 :重新计算文档中各特征的熵 ,从中选取具有最大熵值的前若干个特征 ;或者基于持久分类模型中的特征集来进行特征选取 .实验证明 ,部分聚类方法能够快速、准确地根据文档主题内容组织 Web文档 ,使用户在更高的主题层次上来查看搜索引擎返回的结果 。Users of Web search engines are often forced to sift through the long ordered list of document “snippets” returned by the engines. An interactive partially clustering method is put forword in this paper. First, PCCS uses the clustering algorithm to cluster part of the documents, finds highly accurate cluster digests (partial clusters), gets user feedback to merge and correct these digests, and then uses the Nal¨ve Bayes classification algorithm to classify the rest documents. The incremental classification model can be saved and then be used to help classify future Web query results. In order to improve the efficiency of the method, a hybrid feature selection is also proposed to reduce dimension of document vector: Entropy feature selection and classification model based feature selection. It is shown that the method is faster than other algorithms. PCCS helps users more quickly and efficiently to navigate the results of a query at a more topical level than having to examine each documents text separately.

关 键 词：聚类 分类 特征选取 文档相似性 PCCS WEB文档 信息检索 

分 类 号：G354.4[文化科学—情报学]