cs231n笔记（5）--传统神经网络，激活函数

一.神经元

   为了描述神经网络，我们先从神经元讲起，这个神经网络仅由一个“神经元”构成，以下即是这个“神经元”的图示：

具体过程是将Xn加权输入，再求和然后输入到“圆圈”中，圆圈实际上是激活函数，然后再输出，便完成了神经网络中一个神经元的计算过程。

二.激活函数

1.激活函数的作用是将神经网络里的线性变化转换成非线性变换。之前可以看出无论神经网络设计多么复杂，层数再多加权变换也是线性变换，此时需要激活函数才能更好的提取特征，激活函数可以把输入的特征保留并映射下来。

2.常用的激活函数：

（1）

Sigmoid：

历史上，sigmoid 函数曾非常常用，然而现在它已经不太受欢迎，实际很少使用了。

具体原因：http://www.jianshu.com/p/6df4ab7c235c

（2）Relu：

之前一直不理解为什么Relu是线性的，但激活函数应该是非线性变换啊。

后来理解了：当X<0时，y=0.在（0，0）有折点，所以不是线性变换。

三.人工神经网络

每条直线都有权值W,每个元都是一个激活函数,传统神经网络每层都是全连接。