Last updated 5 years ago
函数图像
红色：ReLU
蓝色：Tanh
绿色：Sigmoid
紫色：Linear
此激活函数广泛应用于各种深度学习网络中。
此激活函数早期广泛应用于神经网络中，但是由于梯度饱和问题，超过三层时误差就无法传到最初的层了，因此在深度学习中效果不如ReLU。
双曲正切函数简称Tanh函数，类似于Sigmoid函数，不过函数值范围是－1~1。
线性相当于没有激活函数，每层之间直接进行矩阵乘法，无法学习非线性数据。
f(x)={xx>00x⩽0\displaystyle{f(x) = \begin{cases} x & x > 0 \\ 0 & x \leqslant 0 \end{cases}}f(x)={x0x>0x⩽0
f′(x)={1x>00x⩽0\displaystyle{f'(x) = \begin{cases} 1 & x > 0 \\ 0 & x \leqslant 0 \end{cases}}f′(x)={10x>0x⩽0
f(x)=11+e−x\displaystyle{f(x) = \frac{1}{1+e^{-x}}}f(x)=1+e−x1
f′(x)=f(x)(1−f(x))\displaystyle{f'(x) = f(x)(1-f(x))}f′(x)=f(x)(1−f(x))
f(x)=ex−e−xex+e−x\displaystyle{f(x) = \frac{e^x - e^{-x}}{e^x + e^{-x}}}f(x)=ex+e−xex−e−x
f′(x)=1−f2(x)\displaystyle{f'(x) = 1-f^2(x)}f′(x)=1−f2(x)
f(x)=x\displaystyle{f(x)=x}f(x)=x
f′(x)=1\displaystyle{f'(x)=1}f′(x)=1
