神经网络激活函数总结

激活函数总结

sigmoid

tanh

ReLU

Leaky ReLU

Maxout

ELU

sigmoid

数学表示：

y=11+e−x

不建议使用,容易饱和

tanh

数学表示：

y=ex−e−xex+e−x

ReLU

数学表示：

y=max(0,x)

建议使用， 但是注意学习率，保证ReLU激活

Leaky ReLU

数学表示：

y=max(αx,x)

Maxout

数学表示：

y=max(WT1x,WT2x)

ELU

数学表示：

y={x,α(exp(x)−1), if x>0if x≤0