深度学习—传统神经网络总结

基础知识请参阅我之前的博客：

机器学习-神经网络表述 ：http://blog.csdn.net/xinzhi8/article/details/69569174

机器学习-神经网络反向传播算法 ： http://blog.csdn.net/xinzhi8/article/details/69664207

机器学习-神经网络综合运用 ： http://blog.csdn.net/xinzhi8/article/details/69676883

机器学习算法实现-神经网络 ： http://blog.csdn.net/xinzhi8/article/details/70154778

激励函数：线性转向非线性，评判激励函数的优劣主要考虑二个方面。前向传播与反向梯度损失，前向传播是将线性数据转化到{0,1}或{-1,1}等等离散的数据，反向梯度损失则越小越好。

常用的激励函数：

优点：将数据映射到[0,1]区间

缺点：y(x)导数的最大值是0.25，即反向损失的最小是75% ，梯度下降非常明显

优点：将数据映射到[-1,1]区间

缺点：虽然f(x)的导数最大值为1，但当取1的是，f(x)为0 对线性数据没有做非线性转化作用。

     即反向梯度损失是有的

缺点：正向截取负值，损失大量特征

优点：反向梯度没有损失

优缺点：保留更多参数，反向梯度损失较小