神经网络常用的激活函数

神经网络中常见的激活函数

由此可见，激活函数对神经网络的深层抽象功能有着极其重要的意义，下面根据我在网络上找到的资料，分别对上述激活函数进行说明：

1. Sigmoid函数。     Sigmoid函数的表达式为 ，函数曲线如下图所示：

2. TanHyperbolic(tanh)函数。TanHyperbolic(tanh)函数又称作双曲正切函数，数学表达式为 ,其函数曲线与Sigmoid函数相似，tanh函数与Sigmoid函数的函数曲线如下所示：

3. ReLu函数和softplus函数。ReLu函数的全称为Rectified Linear Units，函数表达式为 ，