常见激活函数（sigmoid/logistic/tanh/softmax/ReLU关系解释）

Sigmoid

神经网络最常见的激活函数就是sigmoid函数。
sigmoid函数意为“S型曲线函数”，它常常指的是logistic（对数几率）函数：

y=11+e−x=exex+1

但sigmoid函数还有其他的函数，例如tanh函数等。

tanhx=ex−e−xex+e−x

（更多见https://en.wikipedia.org/wiki/Sigmoid_function）

Softmax

logistic函数是对于二分类的函数，若扩展到K维，则为softmax函数：

σ(z)j=ezj∑Kk=1ezk

其中z为K维向量，j=1,⋯,K。

ReLU&softplus

2001年，神经科学家Dayan、Abott从生物学角度模拟出了脑神经元接受信号更精确的激活模型，ReLU（Rectified Linear Units）函数被提出：

f(x)=x+=max(0,x)

而ReLU函数是个分段函数，求它的平滑近似函数就是softplus函数：

f(x)=ln(1+ex)

可以发现，softplus求导为

f′(x)=exex+1=11+e−x

，即Logistic函数。

所以可以得到以上提及的函数的关系图：

ReLU—平滑函数→softplus—求微分→logistic—泛化→softmax

参考：http://www.cnblogs.com/neopenx/p/4453161.html
sigmoid:https://en.wikipedia.org/wiki/Sigmoid_function
softmax:https://en.wikipedia.org/wiki/Softmax_function
ReLU:https://en.wikipedia.org/wiki/Rectifier_(neural_networks)