人工神经网络混合剪枝算法  

Hybrid pruning algorithm for artificial neural network training

作　　者：李倩[1] 王永县[1] 朱友芹[1] 

机构地区：[1]清华大学经济管理学院,北京100084

出　　处：《清华大学学报（自然科学版）》2005年第6期831-834,共4页Journal of Tsinghua University(Science and Technology)

基　　金：国家重点自然科学基金资助项目(79930070);山东省自然科学基金资助项目(03BS002)

摘　　要：目前人工神经网络(ANN)应用中所遇到的挑战之一就是如何针对特定问题确定相应网络。基于进化算法和局部搜索算法两类策略的特点和不足,文中提出了混合剪枝算法HAP(HybridAlgorithmofPruning)。算法首先联合进化算法代表之一遗传算法(GA)和反向传播算法BP的不同优势完成ANN网络结构和权重进化的初步阶段;然后应用多权重剪枝策略(MW-OBS)进一步简化、确定网络结构。结合案例与以往的混合策略算法进行对比研究,结果表明HAP在寻优能力、简化网络结构、保证稳定性等方面均有明显优势,更加适合大规模ANN的优化问题。A hybrid pruning algorithm combining three different methods was developed to define proper net topologies for artificial neural networks (ANN). The algorithm uses the genetic algorithm and back progagation to optimize the number of neural nodes and the weight values of each individual net. The multi-weights-optimal brain surgeon (MW-OBS) algorithm, was included to further prune unimportant weights or nodes. Comparison of the algorithm with another hybrid method showed that the algorithm gives a more concise topology, better net error training, and more stable searches, especially for large network optimization problems.

关 键 词：人工神经网络结构 混合剪枝算法(HAP) 遗传算法(GA) 反向传播算法(BP) 多权重剪枝策略(MW-OBS) 

分 类 号：TP183[自动化与计算机技术—控制理论与控制工程]