基于N-Gram模型的高速汉字编码识别系统  

N-Gram Based High Speed Chinese Encoding Recognizing System

作　　者：李继锋[1] 刘群[1] 

机构地区：[1]中国科学院计算技术研究所软件研究室,北京100080

出　　处：《计算机工程与应用》2004年第3期39-41,177,共4页Computer Engineering and Applications

基　　金：国家863高技术研究发展计划资助(编号:2002AA142110)

摘　　要：该文提出了一个应用n元语法模型(N-Gram)自动识别文档中汉字编码的方法,并介绍了一个已投入使用的汉字编码自动识别系统的设计和具体实现。该系统采用的是以字为基本单位的一元语法模型Uni-Gram,建立在语料库的基础上,仅用输入前N个字的字频计算输入串的生成概率,可以高速、准确识别。This paper describes a new algorithm based on N-Gram which can automatically recognize Chinese internal encoding.The design and implementing of a completed system based on the algorithm are introduced.The algorithm uses Uni-Gram whose basic cell is Chinese character.The system can recognize quickly and accurately only using the first N Chinese characters.

关 键 词：编码识别 n元语法模型 一元语法模型 N—Gram模型 自动识别文档 汉字编码 

分 类 号：TP391.43[自动化与计算机技术—计算机应用技术]