语料库自然标注信息与中文分词应用研究(英文)  

Natural Annotation Research in Large-Scale Corpora with a Focus on Chinese Word Segmentation

作　　者：饶高琦[1] 修驰[1] 荀恩东[1] 

机构地区：[1]北京语言大学信息科学学院,北京100083

出　　处：《北京大学学报（自然科学版）》2013年第1期140-146,共7页Acta Scientiarum Naturalium Universitatis Pekinensis

基　　金：国家自然科学基金(60973062,61170162);中央高校基本科研业务费专项资金(2012-jbyz-001)资助

摘　　要：以中文分词为应用目标,将大规模语料库上存在的自然标注信息分为显性标注信息与隐性标注信息,分别考察了它们的分布和对大数据集上语言计算的影响。结果表明,两者都直接或间接地表达了作者对语言的分割意志,因而对分词具有积极的影响。通过词语抽取测试,发现在缺乏丰富显性标注信息的文本中,来自语言固有规律的自然标注信息对字符串有着强大的分割性能。The distribution and meaning of natural annotations on large datasets are discussed. The proposed research on word extraction shows the positive potential of both implicit and explicit natural annotation in word segmentation. Experiments on word extraction indicates that the implicit natural annotation derived from language laws and patterns are more powerful in splitting character strings in raw corpora.

关 键 词：自然标注信息 中文分词 词语抽取 大规模语料库 

分 类 号：TP391.1[自动化与计算机技术—计算机应用技术]