网络泛化能力与随机扩展训练集  

Generalization of networks and random expanded training sets

作　　者：杨慧中[1] 卢鹏飞[1] 张素贞[2] 陶振麟[2] 

机构地区：[1]江南大学通信与控制工程学院,江苏无锡214036 [2]华东理工大学自动化研究所,上海200237

出　　处：《控制理论与应用》2002年第6期963-966,共4页Control Theory & Applications

摘　　要：针对神经网络的过拟合和泛化能力差的问题 ,研究了样本数据的输入输出混合概率密度函数的局部最大熵密度估计 ,提出了运用Chebyshev不等式的样本参数按类分批自校正方法 ,以此估计拉伸样本集 ,得到新的随机扩充训练集 .使估计质量更高 ,效果更好 .仿真结果证明用这种方法训练的前馈神经网络具有较好的泛化性能 .Aiming at the problems of over-fitting and generalization for neural networks, the locally most entropic colored Gaussian joint input-output probability density function (PDF) estimate is studied, and a new method by means of Chebyshev inequality is proposed to self-revise respectively according to every cluster. In terms of the method, a random expanded training set is obtained. The simulation results illustrate that generalization of feed forward neural networks using the expanded training sets is greatly improved.

关 键 词：随机扩展训练集 前馈神经网络 泛化能力 最大局部熵密度函数 CHEBYSHEV不等式 概率密度估计 

分 类 号：TP183[自动化与计算机技术—控制理论与控制工程] O211.6[自动化与计算机技术—控制科学与工程]