机器学习（一）：激活函数（Activation Function）

0. 激活函数

• 上图为wiki的定义：激活函数定义了每个节点（神经元）的输出和输入关系的函数。

• 下表：常用激活函数

编号

函数

公式

1)

sigmoid(x)

φ(x)=11−e −x

2)

softmax(x)

φ(x)=ezj∑Kk=1ezk

3)

tanh(x)

φ(x)=tanh(x)

4)

Scaledtanh([scaleIN,scaleOUT])

φ(x)=tanh(α∗x)∗β

5)

ReLU

φ(x)=max(0,x)

6)

LeakyReLU

f(x)={xifx>00.1xotherwise

7)

VaryLeakyReLU

a=13

8)

ParametricReLU

f(x)={xifx>0axotherwise

9)

RandomizedReLU

f(x)=max(0,x+Y),withY∼N(0,σ(x))

10)

Maxout

ifa<0,f(x)=max(x,ax)

11)

elu(x)

φ(x)=(x>0)?x:ex−1

12)

softplus(x)

φ(x)=log(1+ex)

13)

linear(x)

φ(x)=x

1. sigmoid函数

• matlab代码块

x = -5:0.1:5;y = sigmf(x,[1,0]);plot(x,y);

• 图像

注：

• 其对 x 的导数可以用自身来表示。
• 缺点：当输入非常大（小）的时候（saturation），容易使一些神经元的梯度为 0 。

2. softmax函数

注:

• sigmoid 拟合 Bernoulli distribution，softmax 拟合 Multinomial distribution ;
• 如果某一个 zj 大过其他z,那这个映射的分量就逼近于1 ，其他就逼近于 0，主要应用就是多分类，sigmoid 函数只能分两类，而 softmax能分多类，softmax 是 sigmoid 的扩展。
• 在 Logistic 回归中，样本数据的值，而在 softmax 回归中，其中是类别种数，比如在手写识别中，表示要识别的 10 个数字。

3. Tanh函数

• 和sigmoid对比图像

4. ReLU函数

未完待更

References

1234

---

1. https://en.wikipedia.org/wiki/Rectifier_(neural_networks)#cite_note-prelu-8 ↩
2. http://www.mamicode.com/info-detail-873243.html ↩
3. http://wenku.baidu.com/link?url=GtIz68_egY1kBAFgt3LY0f2v89H6doReu6pcNB34yHiG_PEiSekhZVtSszGB28dtRmEfAKrYOQtu5T0EVLeTzKwpZAeTJEfo00XOgbj9l4u ↩
4. http://mp.weixin.qq.com/s?__biz=MzI1NTE4NTUwOQ==&mid=2650325236&idx=1&sn=7bd8510d59ddc14e5d4036f2acaeaf8d&scene=0#wechat_redirect ↩