基于大规模语料的新词语识别方法  

New word identification based on large-scale corpus

作　　者：施水才[1] 俞鸿魁[1] 吕学强[1] 李渝勤[1] 

机构地区：[1]北京信息科技大学中文信息处理研究中心,北京100101

出　　处：《山东大学学报（理学版）》2006年第3期89-91,共3页Journal of Shandong University(Natural Science)

基　　金：国家自然科学基金资助项目(60272084);北京市教育委员会科技发展计划重点资助项目(KZ200310772013);北京市教委资助项目(KM200510772008;KM200610772008)

摘　　要：根据新词语的不同特征,提出了一整套自动检测新词语的方法,通过大规模地统计分析,分别建立字,词,N元组的词典,从中自动检测出新词语来,然后再根据构词规则对自动检测的结果进行进一步的过滤,最终抽取出语料中的新词语.根据此方案实现的系统,可以抽取不限长度不限领域的新词语.String frequent static, sub string reduction and several faltering method are used to analyze one set Chinese new wont mining system and identify new word by using character, word and N-gram dictionary based on statistic large-scale corpus. With the system based on those methods, new word without length and domain limit can be identified.

关 键 词：新词语 流行语 语料库 

分 类 号：TP391.2[自动化与计算机技术—计算机应用技术]