多层感知器模型互反奇异性区域学习动态的理论分析  

Theoretical analysis of learning dynamics near the opposite singularities in multilayer perceptrons

作　　者：郭伟立[1] 魏海坤[1] 赵军圣[1,2] 张侃健[1] 

机构地区：[1]东南大学自动化学院复杂工程系统测量与控制教育部重点实验室,江苏南京210096 [2]聊城大学数学科学学院,山东聊城252059

出　　处：《控制理论与应用》2014年第2期140-147,共8页Control Theory & Applications

基　　金：国家自然科学基金重大项目资助项目(11190015);国家自然科学基金资助项目(61374006);高等学校博士学科点专项科研基金资助项目(20100092110020)

摘　　要：多层感知器神经网络(MLPs)的学习过程经常发生一些奇异性行为,容易陷入平坦区,这都和MLPs的参数空间中存在的奇异性区域有直接关系.当MLPs的两个隐节点的权值接近互反时,置换对称性会导致学习困难.对MLPs的互反奇异性区域附近的学习动态进行分析.本文首先得到了平均学习方程的解析表达式,然后给出了互反奇异性区域附近的理论学习轨迹,并通过数值方法得到了其附近的实际学习轨迹.通过仿真实验,分别观察了MLPs的平均学习动态,批处理学习动态和在线学习动态,并进行了比较分析.Owing to the existence of singularities in the parameter space,multilayer perceptrons （MLPs） may behave extremely slowly in learning or even be trapped in plateaus.When weights of two hidden units are nearly mutually opposite,the learning process will encounter difficulties because of the permutation symmetry.We investigate the learning dynamics of MLPs near opposite singularities,and derive the analytical expressions for averaged learning equations.Then,we obtain the theoretical learning trajectories near the opposite singularities.Furthermore,real learning trajectories near the opposite singularities are also calculated by using numerical methods.In simulations,we study the averaged learning dynamics,the batch mode learning dynamics and the online learning dynamics,respectively.

关 键 词：多层感知器 神经网络 学习动态 奇异性 互反 

分 类 号：TP183[自动化与计算机技术—控制理论与控制工程]