专家乘积系统的原理及应用  

Products of Experts:Principles and Practices

作　　者：孙征[1] 李宁[2] 

机构地区：[1]中国科学技术大学计算机系,北京100040 [2]曙光信息产业(北京)有限公司,北京100084

出　　处：《计算机仿真》2006年第4期208-211,共4页Computer Simulation

摘　　要：对于相同的一组观察数据,总能找到一些独立的低维专家模型,这些模型只满足对数据的一种约束条件,对于满足这种约束条件的数据,独立模型可以产生较高的概率分布。可以用独立模型概率相乘的方法组合它们,经重新规范化后,形成一个新的高维模型。称这样的系统为专家乘积系统(Product of Experts)。混合高维模型在学习的过程中,利用吉布斯采样和KL偏差的方法,使高维模型获得更理想的概率分布。实验证明,在手写体识别等领域,专家乘积系统是一种非常有效的方法。It is possible to find a high - dimensional model which combine with many low - dimensional expert model for same observed data. Each low - dimensional model can focus on giving high probability to data vectors that satisfy just on of the constraints. Products of experts combine by multiple probability distributions of individual together and then renormalizing. We can train this high - dimensional model using The Gibbs Sampling and Kullbaek - Leibler eontrastive divergence which make model to obtain more smooth probability distributions than each individual model. The experiment show, PoE is a efficient model in handwriting reeongnition field.

关 键 词：专家乘积 玻耳兹曼机 吉布斯采样 手写体识别 

分 类 号：TP317.4[自动化与计算机技术—计算机软件与理论]