神经网络泛化性能的最优脑外科过程算法  

An Optimal Brain Surgeon Procedure Algorithm for Improving Neural Network Generalization Performance

作　　者：李冬[1] 嵩天[2] 

机构地区：[1]苏州经贸职业技术学院信息系,江苏苏州215009 [2]北京理工大学计算机学院,北京100081

出　　处：《计算机仿真》2011年第3期198-202,共5页Computer Simulation

基　　金：国家自然科学基金项目(60803002);江苏省"青蓝工程"青年骨干教师培养项目资助(2007)

摘　　要：在神经网络性能测试新方法的研究中,关于最优脑外科过程拥有较高的权值修剪准确率和节点压缩率的问题,但其训练和泛化优化的异步影响了算法的实际应用。把剪枝条件以约束项的形式纳入神经网络的训练目标函数中,借鉴信赖域的思路和正则化方法,设计了含约束项的最优脑外科过程。经验证,过程在理论上是收敛的。通过雷文博格-马括特(Leven-berg-Marquardt)方法实现了该过程,典型函数仿真实验验证了过程不仅提高了神经网络的泛化性能,实现了网络训练与最优脑外科剪枝的并行,也说明了信赖域的方法与雷文博格-马括特方法在理论上的一致性。The optimal brain surgeon（OBS）procedures have higher pruning-weight accuracy and node-compression,but potential post-training operation impact its application.Based on the thought of trust region and the method of regularization,the optimal brain surgeon optimized model embeded constraint was designed by introducing constraint term into training target function.Its convergence was proved theoretically.The model was implemented by the means of Levenberg-Marquardt methods,and the simulating experiments realized the parallel of training process and OBS pruning,and supported the consistency of trust region method and Levenberg-Marquardt method theoretically.

关 键 词：神经网络 最优脑外科 马括特方法 泛化 信赖域 

分 类 号：TP183[自动化与计算机技术—控制理论与控制工程]