神经网络的振动重力场训练法  

The Vibration Gravity Field method used in Neural network training

作　　者：李劲[1] 董天临[1] 李青侠[1] 

机构地区：[1]华中科技大学电子与信息工程系,武汉430074

出　　处：《电子测试》2013年第12期43-45,19,共4页Electronic Test

摘　　要：误差反向传播神经网络（BP神经网络）的误差曲面是一个多极值的不规则曲面，标准BP算法是一种单调的梯度下降算法，在训练过程中会收敛到其中的某一个极值而失去寻找到具有更佳泛化能力的解的可能。本文提出一种振动重力场训练算法，通过对神经网络的权值进行正态分布的随机调整，让其以一定概率跳出当前局部最优解的收敛域，同时一直以梯度下降算法引导解向泛化误差更小的方向下降，这样可以以更高的概率得到泛化误差更小的解。面向一种衬底集成波导功分器的优化实验表明相比较于标准BP算法这种训练方法可寻找到泛化性能更好的神经网络。The error sruface of a back propagation artificial neural network has multi minimal value while standard back propagation algorithm is a monotonically decreasing algorithm. A Vibration Gravity Field method is proposed. Periodic normally distributed random ajustment of the weight and gradient descent training help the neural network jumping out of the local minimal value area and falling into the lower region of generalization error. Experiments show that Vibration Gravity Field method has better performance than standard BP algrithm, and it can enhance the generalization capacity of a neural network.

关 键 词：BP算法 局部极小 泛化性能 

分 类 号：TP183[自动化与计算机技术—控制理论与控制工程]