一种连续型深度信念网的设计与应用  

Design and Application of Continuous Deep Belief Network

作　　者：乔俊飞[1] 潘广源[1] 韩红桂[1] 

机构地区：[1]北京工业大学电子信息与控制工程学院计算智能与智能系统北京市重点实验室,北京100124

出　　处：《自动化学报》2015年第12期2138-2146,共9页Acta Automatica Sinica

基　　金：国家自然科学基金(61203099;61225016;61533002);北京市科技计划课题(Z141100001414005;Z141101004414058);高等学校博士学科点专项科研基金资助课题(20131103110016);北京市科技新星计划(Z131104000413007);北京市教育委员会科研计划项目(KZ201410005002;km201410005001)资助~~

摘　　要：针对深度信念网(Deep belief network,DBN)学习连续数据时预测精度较差问题,提出一种双隐层连续型深度信念网.该网络首先对输入数据进行无监督训练,利用连续型传递函数实现数据特征提取,设计基于对比分歧算法的权值训练方法,并通过误差反传对隐层权值进行局部寻优,给出稳定性分析,保证训练输出结果稳定在规定区域.利用Lorenz混沌序列、CATS序列和大气CO_2预测实验对该网络进行测试,结果表明,连续型深度信念网具有结构精简、收敛速度快、预测精度高等优点.A continuous deep belief network（c DBN） with two hidden layers is proposed to solve the problem of low accuracy of traditional DBN in modeling continuous data. The whole process is to train the input data in an unsupervised way using continuous version of transfer function, to design the contrastive divergence in hidden-layer training process,and then to fine-tune the net by back propagation. Besides, hyper-parameters are analyzed according to stability analysis,as is given in the paper, to make sure the network finds the optimal. Experiments on Lorenz, CATS benchmark simulation and CO2 forecasting show a simplified structure, fast convergence speed and accuracy of this c DBN.

关 键 词：深度学习 神经网络 结构设计 稳定分析 时序预测 

分 类 号：TP18[自动化与计算机技术—控制理论与控制工程]