汉语统计语言模型训练样本容量的定量化度量  

Quantitative Measurement of Training Sample Capacity for Chinese Statistical Language Model

作　　者：张仰森[1] 

机构地区：[1]北京信息科技大学智能信息处理研究所,北京100192

出　　处：《计算机科学》2009年第10期222-224,249,共4页Computer Science

基　　金：国家自然科学基金(60873013);北京市自然科学基金B类重点项目(KZ200811232019);中国科学院自动化研究所模式识别国家重点实验室开放基金;北京市属市管高校人才强教计划项目资助

摘　　要：统计语言模型的参数训练是语言建模的关键,选择多大的训练样本就能够达到建模的参数估计误差要求,是语言建模理论关心的问题之一。应用数理统计理论对汉语统计语言模型的训练语料样本容量进行了定量化描述,给出了汉语n-gram模型训练样本容量下界的估算方法及量化估算公式,可根据模型参数估计的误差要求计算出模型训练所需的样本容量。The training of statistical language model parameter is the key of language modeling. Chooseing how many training samples to meet the demand of the model parameter estimation error is one of concern problems of language modeling theory. We applied mathematical statistics theory to give the estimating method for training samples lower bound capability for chinese model, the quantification estimation formula was suggested. By using this formula, the corpus sample capability needed to train model parameters can be calculated according to the demand of parameter estimation error.

关 键 词：汉语统计语言模型 训练语料样本 样本容量 相对误差 

分 类 号：TP391[自动化与计算机技术—计算机应用技术]