基于双字哈希的PAT树词典机制的研究  

作　　者：赵丽[1] 郭宏文[1] 

机构地区：[1]黑龙江生态工程职业学院计算机技术系,哈尔滨150025

出　　处：《黑龙江生态工程职业学院学报》2011年第1期37-39,共3页Journal of Heilongjiang Vocational Institute of Ecological Engineering

摘　　要：分词词典是汉语自动切分系统的重要组成部分,词典机制的优劣影响到分词的精度及切分速度。针对汉语中双字词占较大比例的特点及哈希算法的查询高效性,设计了基于双字哈希的PAT树词典机制,并从理论上分析了其性能。通过实验在分词的准确率上与逐字二分法进行了比较,同时,与双字哈希机制及改进的PAT树机制在时间效率上也进行了比较。结果证明,基于双字哈希的PAT树词典机制在分词的准确率及分词的时间效率上均有提高,能够满足大规模文本的分词切分工作要求。

关 键 词：分词词典 哈希函数 PAT树 

分 类 号：TP391.1[自动化与计算机技术—计算机应用技术]