Neural Network中的Activation function作用

激活函数的作用

谈到激活函数，必须要提到回归的问题，我们做线性回归的目的是为了优化权重。由于每次输入新的数据都要进行调整权重，做回归的主要目的是将目标特征更明显，将区别较大的噪声排除掉。因此，我们引入了激活函数。由于在线性回归中要求输入是可微的，也就是说要求输入为线性的，但现实的输入往往是非线性的，加入激活函数不但具备去噪的作用，而且可以将非线性输入变为线性输入。

主要类别：

        tanh　　　双切正切函数，取值范围[-1,1]

        
        sigmoid　 采用S形函数，取值范围[0,1]

        ReLU         简单而粗暴，大于0的留下，否则一律为0。

此外：