基于半CRF模型的百科全书文本段落划分  

A Semi-Markov CRF Model Approach to Encyclopedia Text Topic Segmentation

作　　者：许勇[1] 宋柔[2] 

机构地区：[1]北京工业大学计算机学院,北京100022 [2]北京语言大学计算机系,北京100083

出　　处：《北京工业大学学报》2008年第2期204-210,共7页Journal of Beijing University of Technology

基　　金：国家自然科学基金(60272055);国家“八六三”计划资助项目(2001AA114111)

摘　　要：介绍了基于半条件随机域(semi-Markov conditional random fields,简称semi-CRFs)模型的百科全书文本段落划分方法.为了克服单纯的HMM模型和CRF模型的段落类型重复问题,以经过整理的HMM模型状态的后验分布为基本依据,使用了基于词汇语义本体知识库的段落开始特征以及针对特定段落类型的提示性特征来进一步适应目标文本的特点.实验结果表明,该划分方法可以综合利用各种不同类型的信息,比较适合百科全书文本的段落结构,可以取得比单纯的HMM模型和CRF模型更好的性能.This paper introduced the semi-markov Conditional Random Fields （semi-CRFs） model based method for Chinese Encyclopedia text topic segmentation. The authors adopted HMM model state posterior as the basic segmentation clue which was adjusted to each text instance to overcome the topic duplication problem of fully connected state HMM model and CRF model. The authors also used several segment level word semantic features derived from domain thesaurus, and additional topic specific cue phrases to make the method more adapted to target domain. The experiment result showed that this method was suitable for Chinese Encyclopedia text topic structure and achieved better performance than HMM model and CRF model.

关 键 词：自然语言处理 机器学习 隐马尔科夫模型 文本段落划分 半条件随机域模型 

分 类 号：TP391[自动化与计算机技术—计算机应用技术]