基于分层选择策略的主动学习分词方法  

Active learning in Chinese word segmentation based on stratified sampling strategy

作　　者：梁喜涛 顾磊[1] 

机构地区：[1]南京邮电大学计算机学院,南京210003

出　　处：《计算机应用研究》2015年第5期1353-1356,共4页Application Research of Computers

基　　金：国家自然科学基金资助项目(61302157);国家教育部人文社会科学研究青年基金资助项目(12YJC870008);江苏省教育厅高校哲学社会科学基金资助项目(2013SJB870004);江苏省社科研究文化精品课题(12SWC-030)

摘　　要：为了克服训练样本不足、获取大量标注样本费时费力的问题,在基于不确定选择策略的基础上,提出了一种新的基于分层选择策略的主动学习方法。使用新提出的选择策略从大量无标注的样本中选择最有价值的样例,进行标注后加入到训练集中来训练分词器。最后在PKU、MSR和山西大学数据集上进行测试,并与不确定选择策略进行比较。结果表明提出的分层选择策略在相同大小的训练语料下可以获得更高的分词准确率,同时还降低了人工标注的代价。To solve the problems of lacking of training samples and accessing a large number of labeled samples laborious,this paper proposed one fresh active learning segmentation method based on stratified sampling strategy. The method used the stratified sampling strategy to select the most useful instances to annotate from unlabeled samples. Next,it put the annotated instances into the labeled set and then trained the segmenter using the set. Finally the method tested in PKU,MSR and Shanxi university corpora and compared with the uncertainty sampling strategy. The experimental result shows that the stratified selection strategy can improve the accuracy of segmentation in the same size training corpus,at the same time reduce the cost of manual annotation effectively.

关 键 词：中文分词 主动学习 不确定性取样 分层取样策略 

分 类 号：TP181[自动化与计算机技术—控制理论与控制工程] TP311.1[自动化与计算机技术—控制科学与工程]