基于依存树库的文本聚类研究  

Research on Text Clustering Based on Dependency Treebank

作　　者：高松[1,2] 冯志伟[3] 

机构地区：[1]黑龙江大学文学院,黑龙江哈尔滨150080 [2]中国传媒大学应用语言学研究所,北京100024 [3]教育部语言文字应用研究所,北京100010

出　　处：《中文信息学报》2011年第3期59-63,共5页Journal of Chinese Information Processing

基　　金：国家社会科学基金资助项目(09BYY024);中国传媒大学‘211工程’三期重点学科建设项目

摘　　要：文本聚类是信息检索的重要内容。为了避免使用计算过程复杂的聚类算法,并能从语言学角度对聚类特征和聚类结果进行分析和解释,该文提出了采用句法分布信息进行文本聚类的方法。在汉语依存树库中,得出10种具有显著差异的词类依存关系,以其中5种依存关系作为聚类特征,访谈会话类和新闻播报类文本的相似度分别为71.98%和83.13%。实验结果验证了该方法利用依存关系对文本聚类的可行性和有效性。Text clustering is of substantial importance to information retrieval.The method of applying the information of syntactic distribution to text clustering is presented,in order to avoid the complex clustering algorithm whileenabling the linguistic interpretation of clustering features and the results of clustering.According to the dependency Treebank,ten dependency relations are suggested with distinctive distribution between oral and written Chinese By using five of them as clustering feature,the similarity of spoken and written classes achieves 71.98% and 83.13%,respectively.The experiment result shows that the proposed method of applying dependency relations to text clustering is feasible and effective.

关 键 词：文本聚类 聚类特征 依存树库 依存关系 词类 

分 类 号：TP391[自动化与计算机技术—计算机应用技术]