基于CRF的百科全书文本段落划分  

Encyclopedia Text Topic Segmentation Based on CRF

作　　者：许勇[1] 宋柔[2] 

机构地区：[1]北京工业大学计算机科学学院,北京100022 [2]北京语言大学计算机科学系,北京100083

出　　处：《计算机工程》2007年第10期16-18,共3页Computer Engineering

基　　金：国家自然科学基金资助项目(60272055);国家"863"计划基金资助项目(2001AA110372-1)

摘　　要：CRF模型是标注、切分序列数据的较新的概率模型,在信息抽取等文本处理领域广受关注。该文介绍了CRF方法,并将其应用到百科全书文本段落的划分上,利用CRF的特征表述机制加入了文本单元序列中的长距离约束,取得了比传统的隐马尔科夫方法更好的结果。Conditional random field（CRF） is a newly proposed probabilistic model for segmenting and labeling sequence data, and has been successfully applied to many natural language processing tasks and information extraction. This paper introduces CRF model and applies it in encyclopedia text topic segmentation. With its long distance overlapping feature mechanism, the CRF model shows better performance than traditional HMM model on encyclopedia text segmentation task.

关 键 词：文本段落划分 条件随机域模型 隐马尔科夫模型 

分 类 号：TP18[自动化与计算机技术—控制理论与控制工程]