本文主要介绍卷积神经网络中常用的激活函数及其各自的优缺点
最简单的激活函数被称为线性激活，其中没有应用任何转换。 一个仅由线性激活函数组成的网络很容易训练，但不能学习复杂的映射函数。线性激活函数仍然用于预测一个数量的网络的输出层(例如回归问题)。
非线性激活函数是更好的，因为它们允许节点在数据中学习更复杂的结构 。两个广泛使用的非线性激活函数是 sigmoid 函数和 双曲正切 激活函数。
Tanh 函数公式如下，数值范围在 (-1, 1)，导数范围为 (0, 1]
Tanh 函数的优点：
Tanh 函数的缺点：
Sigmoid 函数公式如下，数值范围为 (0, 1)，导数范围为 (0, 0.25]：
sigmoid 函数优点：
sigmoid 函数缺点：
f ( x ) = max ( 0 , x ) f(x) = \text{max}(0, x) f(x)=max(0,x)
ReLU 函数的优点：
ReLU 函数的缺点：
公式如下：
为了防止模型 dead 的情况，出现了很多 ReLU 的改进版本，如 Leaky ReLU，在 0 右侧和 ReLU 一样，左侧从全零变成了一个斜率很小的直线
优点：
缺点：
ELU（Exponential Linear Unit，指数线性单元）尝试加快学习速度。基于ELU，有可能得到比ReLU更高的分类精确度。
优点：
缺点：
f ( x ) = x ∗ sigmoid ( β x ) f(x) = x *\text{sigmoid}(\beta x) f(x)=x∗sigmoid(βx)， β = 1 \beta=1 β=1 时就是 SiLU
优点：
缺点：
f ( x ) = x ∗ tanh ( ln ( 1 + e x ) ) f(x) = x * \text{tanh}(\text{ln}(1+e^x)) f(x)=x∗tanh(ln(1+ex))
优点：
缺点：
绘图代码：
import matplotlib.pyplot as plt
import numpy as np
import math
#
plt.rcParams['font.sans-serif'] = ['SimHei']
plt.rcParams['axes.unicode_minus'] = False
## sigmoid
def sigmoid(x):
return 1 / (1 + np.exp(-x))
x1 = np.arange(-10.0, 10.0, 0.1)
y1 = sigmoid(x1)
plt.plot(x1, y1, color='purple', label='sigmoid')
plt.legend()
## ReLU
def ReLU(x):
return np.maximum(0, x) # ReLU函数的定义
x2 = np.arange(-10.0, 10.0, 0.1)
y2 = ReLU(x2)
plt.plot(x2, y2, color='orange', label='ReLU')
plt.legend()
## tanh
def tanh(x):
return (np.exp(x) - np.exp(-x)) / (np.exp(x) + np.exp(-x))
x3 = np.arange(-10.0, 10.0, 0.1)
y3 = tanh(x3)
plt.plot(x3, y3, color='yellow', label='Taanh')
plt.legend()
## Leaky ReLU
def Leaky_ReLU(xx):
return [x if x > 0 else 0.1 * x for x in xx]
x4 = np.arange(-10, 10.0, 0.1)
y4 = Leaky_ReLU(x4)
plt.plot(x4, y4, color='black', label='Leaky ReLU(alpha=0.1)')
plt.legend()
## ELU
def ELU(xx):
return [x if x > 0 else 1 * (np.exp(x) - 1) for x in xx]
x5 = np.arange(-10.0, 10.0, 0.1)
y5 = ELU(x5)
plt.plot(x5, y5, color='green', label='ELU(alpha=1)')
plt.legend()
# silu
def SiLU(xx):
return [x * (1 / (1 + np.exp(-x))) for x in xx]
x6 = np.arange(-10.0, 10.0, 0.1)
y6 = SiLU(x6)
plt.plot(x6, y6, color='red', label='SiLU')
plt.legend()
## Mish
def Mish(xx):
return [x * tanh(np.log(1 + np.exp(x))) for x in xx]
def tanh(x):
return (np.exp(x) - np.exp(-x)) / (np.exp(x) + np.exp(-x))
x7 = np.arange(-10.0, 10.0, 0.1)
y7 = Mish(x7)
plt.plot(x7, y7, color='pink', label='Mish')
plt.legend()
# 获得当前的axis
ax = plt.gca()
# 设置图像的上边、右边axis为无色
ax.spines['right'].set_color('none')
ax.spines['top'].set_color('none')
# 设置x轴坐标在下部
ax.xaxis.set_ticks_position('bottom')
# 设置x轴位于图像y=0处
ax.spines['bottom'].set_position(('data', 0))
# 设置x轴坐标在左部
ax.yaxis.set_ticks_position('left')
# 设置y轴位于图像x=0处
ax.spines['left'].set_position(('data', 0))
plt.show()