基于双曲正切函数的修正线性单元  

Tangent-based rectified linear unit

作　　者：刘坤华[1] 钟佩思[1] 徐东方 夏强 刘梅[1] LIU Kunhua;ZHONG Peisi;XU Dongfang;XIA Qiang;LIU Mei(Advanced Manufacturing Technology Center,Shandong University of Science and Technology,Qingdao 266590,China)

机构地区：[1]山东科技大学先进制造技术研究中心

出　　处：《计算机集成制造系统》2020年第1期145-151,共7页Computer Integrated Manufacturing Systems

基　　金：国家自然科学基金资助项目(51375282);山东省重点研发计划资助项目(2018GGX106001);山东省高等学校科学技术计划资助项目(J18KA009,J16LB58);山东科技大学研究生科技创新资助项目(SDKDYC180334,SDKDYC180329)~~

摘　　要：为解决修正线性单元(ReLU)的神经元死亡现象,提出一个新的激活函数——基于双曲正切函数(tanh)的修正线性单元(ThLU)。ThLU函数正半轴来自于ReLU函数的正半轴,负半轴来自于tanh函数的负半轴。为验证ThLU函数的性能,基于VggNet-16神经网络架构,分别在CIFAR-10和CIFAR-100数据集上进行了试验验证。结果表明:基于ThLU函数训练得到的神经网络模型比基于tanh、ReLU、泄露修正线性单元(LReLU)和指数线性单元(ELU)训练得到的神经网络模型具有更高的准确率、更低的损失。To solve neuron death problemofrectified linear unit(ReLU),a new activation function:tangent-based rectified linear unit(ThLU)was proposed.The positive half axis of ThLU came from the positive half axis ofReLU.And the negative half axis of ThLU came from the negative half axis of hyperbolic tangent(tanh).To verify the performance of ThLU,experiments based on the VggNet-16 neural network architecture,and the CIFAR-10 and CIFAR-100 datasets were designed,which indicated that the neural network model based on ThLU obtained higher accuracy and lower loss thanthat based on tanh,ReLU,leaky rectified linear unit(LReLU)and exponential linear unit(ELU).

关 键 词：激活函数 双曲正切函数 修正线性单元 泄露修正线性单元 指数线性单元 深度学习 

分 类 号：TP30[自动化与计算机技术—计算机系统结构]