基于数据量的文本分词算法选取的研究  

作　　者：王一蕾[1] 吴英杰[1] 

机构地区：[1]福州大学数学与计算机科学学院,福建福州350002

出　　处：《福建电脑》2006年第9期18-19,共2页Journal of Fujian Computer

基　　金：福州大学科技发展基金(2004-XY-13)

摘　　要：分析了无词典分词及最大匹配快速分词算法的特点,并针对大数据量和小数据量两类文本,对两种算法进行性能测试。结果表明,两种算法均适用于大数据量的文本分词。此外,对无词典分词算法加以改进,使之也适用于小数据量的文本分词,并通过仿真实验验证改进的有效性。

关 键 词：无词典分词 最大匹配分词 数据量 

分 类 号：TP391[自动化与计算机技术—计算机应用技术] TP311.132[自动化与计算机技术—计算机科学与技术]