正线性函数在深度神经网络中的研究  

Research on positive linear function in deep neural networks

作　　者：冯畅[1] 

机构地区：[1]四川大学计算机学院,四川成都610065

出　　处：《计算机工程与设计》2015年第3期759-762,801,共5页Computer Engineering and Design

摘　　要：针对深度神经网络中常用的激活函数具有非线性和计算复杂度高的特点,提出使用正线性函数代替常用非线性函数作为深度神经网络的激活函数。基于正线性激活函数建立的深度神经网络模型计算复杂度低,能得到稀疏表示,与人类大脑信息感知具有一致性。通过图像分类任务验证了正线性激活函数在深度神经网络中应用的有效性。Aiming at the problems of non-linearity and high computational complexity of the common activation functions in the deep neural networks,the method using the positive linear function to replace the common non-linear activation function in deep neural networks was presented.Positive linear function not only has low computational complexity,but also implements the sparse representation of information like human brain.The image classification task was used to verify the effectiveness of the positive linear function in deep neural networks.

关 键 词：特征提取 深度神经网络 激活函数 正线性函数 手写体数字识别 

分 类 号：TP183[自动化与计算机技术—控制理论与控制工程]