基于大规模语料库的汉语词义相似度计算方法  

Chinese Lexical Semantic Similarity Computing Based on Large-scale Corpus

作　　者：石静[1] 吴云芳[1] 邱立坤[2] 吕学强[3] 

机构地区：[1]北京大学计算语言学研究所,北京100871 [2]鲁东大学文学院,山东烟台264025 [3]北京信息科技大学网络文化与数字传播北京市重点实验室,北京100101

出　　处：《中文信息学报》2013年第1期1-6,80,共7页Journal of Chinese Information Processing

基　　金：国家863项目(No.2012AA011101);国家自然科学基金(61103089);网络文化与数字传播北京市重点实验定开放课题(ICDD301202)

摘　　要：词义相似度的计算是自然语言处理领域的关键问题之一,它在信息检索中的查询扩展、机器翻译中的模块识别,以及句法分析、词义消歧等任务中都发挥着重要的作用。该文研究了基于大规模语料库的汉语词义相似度计算方法,系统地比较分析了上下文特征权值的选择、向量相似度计算方法、基于窗口和基于依存关系的表征形式、新闻语体和网络语体的差异。实验结果表明,在网络语言语料上,基于窗口选取上下文特征,用互信息PMI来计算权值,采用cosine来计算相似度,取得了最好的词义相似度结果。Automatic acquisition of similar words is one of the most crucial problems in natural language processing tasks, e.g. the query extension in information retrieval, pattern identification in machine translation, parser analysis and WSD. This paper focuses on Chinese semantic similarity computing based on large corpus, investigating the computation of context feature weight, the vector similarity measures, the window context vs. the dependency con text, and the newspaper corpus vs. web corpus. Our experiments show that, in the web corpus, using windowbased context combined with PMI weights function, the cosine measures gets the best semantic similarity results.

关 键 词：词义相似度 上下文特征 权值选择 依存关系 

分 类 号：TP391[自动化与计算机技术—计算机应用技术]