基于维基百科和条件随机场的领域主题词抽取方法  

A method for domain-specific subject word extraction based on Wikipedia and conditional random fields

作　　者：齐保元[1] 史忠植[2] 

机构地区：[1]中国科学院大学,北京100049 [2]中国科学院计算技术研究所智能信息处理重点实验室,北京100190

出　　处：《高技术通讯》2014年第6期602-608,共7页Chinese High Technology Letters

基　　金：973计划(2013CB329502);国家自然科学基金(61035003;60933004;61202212;61072085);863计划(2012AA011003);国家科技支撑计划(2012BA107B02);中国信息安全测评中心(CNITSEC-KY-2012-006/1)资助项目

摘　　要：针对传统的手工整理主题词表的方法因耗时、更新速度慢而无法满足应用要求的问题,提出了一种基于维基百科(Wikipedia)和条件随机场(CRF)的领域主题词抽取方法。该方法根据特定领域现有主题词的构词特点、统计分布特点,充分利用维基百科独特的结构优势,自动地从维基百科中获取新的领域主题词,补充现有主题词表。该方法采用条件随机场作为训练、测试的模型,将多方面的特征进行综合建模,取得了较好的实验效果。实验结果表明,使用该方法可以将主题词识别的F值提高到83%左右。Aiming at the shortcomings of time-consuming and long update cycle of the traditional manual thesaurus creation, a new method for acquiring subject words for creating or updating a specific field＇ s thesaurus based on the Wikipedia and conditional random fields （CRF） was presented. The method fully uses the Wikipedia＇ s unique structural advantage and co-edited encyclopedic knowledge in various fields to automatically obtain new subject words according to the existing thesaurus＇ s characteristics in lexical structure and statistical distribution to replenish the existing thesaurus. The method trains a CRF model to acquire new subjects from Wikipedia, and synthetically models various features to achieve the better experimental effect. The experimental results show that the method can increase the F-value of subject identification up to about 83%.

关 键 词：主题词表构建 主题词抽取 维基百科(Wikipedia) 条件随机场(CRF) 

分 类 号：TP391.1[自动化与计算机技术—计算机应用技术]