基于Multigram语言模型的主动学习中文分词  

Active Learning in Chinese Word Segmentation Based on Multigram Language Model

作　　者：冯冲[1] 陈肇雄[2] 黄河燕[2] 关真珍[2] 

机构地区：[1]中国科学技术大学计算机科学与技术系,安徽合肥230027 [2]中国科学院计算机语言信息工程研究中心,北京100083

出　　处：《中文信息学报》2006年第1期50-58,共9页Journal of Chinese Information Processing

基　　金：国家自然科学基金资助项目(60272088);国家863资助项目(2002AA11401)

摘　　要：分词是中文处理中的重要基础问题。为了克服Web文本分析中传统方法在适应繁杂的专业领域和多变的语言现象时存在的困难,本文以无督导分词方法为基本框架,使用EM算法建立n元multigram语言模型,提出了一种基于置信度的主动学习分词算法,使得系统在主要利用大量未标注数据的同时,还能够主动选择少量最有价值的数据提交人工标注。实验结果表明算法性能优于相关的几种无督导分词算法。Word segmentation is a fundamental task in Chinese processing. To solve the difficulties of traditional methods in coping with various application domains and evolufive language phenomena, this paper adopts an unsupervised learning framework, using EM algorithm to train the n-mulfigram language model. A new certainty-based active learning segmentation algorithm is proposed, which combine labeled data with unlabeled data together to optimize language model. In experiments it outperforms other unsupervised word segmentation algorithms.

关 键 词：计算机应用 中文信息处理 分词 无督导机器学习 主动学习 EM算法 

分 类 号：TP391.1[自动化与计算机技术—计算机应用技术]