Activation Function

Activation Function

关于activation function是在学习bp神经网络的时候听到的一个名词，叫做激励函数，当时是用来进行每一层的节点值进行非线性转化得到隐藏层节点值，现在想想不太清楚为什么用这个，因此写了这个文章。

Activation Function，代表有sigmoid函数，是指如何把“激活的神经元的特征”通过函数把特征保留并映射出来（保留特征，去除一些数据中是的冗余），这是神经网络能解决非线性问题关键。关于神经网络激励函数的作用，常听到的解释是：不使用激励函数的话，神经网络的每层都只是做线性变换，多层输入叠加后也还是线性变换。因为线性模型的表达能力不够，激励函数可以引入非线性因素。

在之前的文章(深度学习基础知识)里介绍过，每一层的节点值与权重相乘之和，加上偏向，得到的值，不是下一层节点的值；而需要进行非线性转化，才能得到最终的值。加入非线性激励函数后，神经网络就有可能学习到平滑的曲线来分割平面，而不是用复杂的线性组合逼近平滑曲线来分割平面。 这就是为什么我们要有非线性的激活函数的原因。如下图所示说明加入非线性激活函数后的差异，上图为用线性组合逼近平滑曲线来分割平面，下图为平滑的曲线来分割平面： 

关于非线性转化，sigmoid函数:1.双曲函数；2.逻辑函数

由于对这方面懂的较为浅显，只是做了个简单介绍，今后学习中用到的会继续添加上来。