激活函数---Sigmoid、Tanh、ReLu、softplus、softmax

激活函数: 就是在神经网络的神经元上运行的函数，负责将神经元的输入映射到输出端。

常见的激活函数包括

• Sigmoid
• TanHyperbolic(tanh)
• ReLu
• softplus
• softmax

　　这些函数有一个共同的特点那就是他们都是非线性的函数。那么我们为什么要在神经网络中引入非线性的激活函数呢？

　　如果不用激励函数（其实相当于激励函数是f(x) = x），在这种情况下你每一层输出都是上层输入的线性函数，很容易验证，无论你神经网络有多少层，输出都是输入的线性组合，与没有隐藏层效果相当，这种情况就是最原始的感知机（Perceptron）了。 正因为上面的原因，我们决定引入非线性函数作为激励函数，这样深层神经网络就有意义了（不再是输入的线性组合，可以逼近任意函数）。最早的想法是sigmoid函数或者tanh函数，输出有界，很容易充当下一层输入（以及一些人的生物解释balabala）。

1.Sigmoid函数

　　Sigmoid函数的表达式为 

　　导数为：

　　函数曲线如下图所示：

                                           

 　　Sigmoid函数是传统神经网络中最常用的激活函数，一度被视为神经网络的核心所在。 

　　从数学上来看，Sigmoid函数对中央区的信号增益较大，对两侧区的信号增益小，在信号的特征空间映射上，有很好的效果。从神经科学上来看，中央区酷似神经元的兴奋态，两侧区酷似神经元的抑制态，因而在神经网络学习方面，可以将重点特征推向中央区，将非重点特征推向两侧区。 

 

对比sigmoid类函数主要变化是：
　　1）单侧抑制