神经网络与深度学习（三）- Shallow Neural Network

第三篇主要讲述浅层神经网络的实现，其本质上是在第二篇逻辑回归的基础上，增加了一层隐藏层，这是为了推广到多层神经网络做铺垫

Neural Networks Representation

神经网路的构成这里不多赘述，在机器学习笔记中有相应的章节已经介绍过了，这里强调一点，也是让人更好理解，对于神经元，我们按下图拆分，其实一个神经元包含了两步操作，第一步是输入元的线性组合，第二步才是进行非线性处理。

对于本篇的浅层神经网络如下图左上所示。下图右为前向传播公式。对于参数上标进行说明，[]代表层数，[0]层是输入层，[1]层是隐藏层，[2]层是输出层。()代表的是样本标号。

下图为后向传播公式。

Activation functions

激活函数大家听的最多，一开始用的很多的应该是sigmoid函数，但其实神经网络的激活函数有很多，下面就是4种相对来说比较常用的激活函数，tanh，ReLU, Leaky ReLU.

那么它们的优点和缺点以及应用场景又是什么呢。

1. sigmoid
   
   • 优点在于其值域为0~1，这非常切合概率模型的输出，即对于0，1分类，输出值在0~1，即可直接表示为其属于该类的概率，因此非常适合用于输出层。
   • 缺点在于左右两段过早进入饱和，会导致梯度消失，梯度弥散，致使训练速度缓慢。
2. tanh
   
   • 优点在于值域-1~1，输出具有0的均值，更好的center我们的数据，就好比我们在训练之前都会对原数据进行均值归一化。
   • 缺点同sigmoid函数一样，具有训练缓慢的缺陷。
3. ReLU
   
   • 优点在于，在大于0的时候，梯度恒定，不会出现梯度弥散的现象，训练速度快。
   • 缺点在于，在小于0的时候，值全为0，无法训练。
4. Leaky ReLU
   
   • 优点同ReLU，并且克服了小于0无法训练的问题。

总的来说，sigmoid在实际中，一般用于输出层，而其他三个函数一般都用于隐藏层，至于哪一种比较好，这个无法下准确的定论，得根据实际做出变化，一般在不知道用什么好的情况下，我们会优先选择ReLU。至于为什么明明Leaky ReLU更优于ReLU还要优先ReLU呢，是因为在实际操作中，大于0的神经元足够训练出结果了，ReLU的缺点并不明显。

Derivatives of activation functions

1. g(z)=11+e−z
   
   • dg(z)dz=g(z)×(1−g(z))
2. g(z)=tanh(z)
   
   • dg(z)dz=1−g(z)2
3. g(z)=max(0,z)
   
   • dg(z)dz={0,1,if z < 0if z≥0
4. g(z)=max(0.01z,z)
   
   • dg(z)dz={0.01,1,if z < 0if z≥0

Practice

建立神经网络一般的方法论
1. 定义神经网络的结构（如输入层神经元个数，隐藏层神经元个数等）
2. 随机初始化模型参数（为什么需要随机初始化，参照机器学习中相应篇章）
3. 开始训练循环
- 1. 进行前向传播
- 2. 计算损失函数
- 3. 进行后向传播得到梯度
- 4. 更新参数

最后得到训练参数，再建立预测函数进行数据分类。

def nn_model(X, Y, n_h, num_iterations = 10000, print_cost=False):    np.random.seed(3)    n_x = layer_sizes(X, Y)[0]    n_y = layer_sizes(X, Y)[2]    # Initialize parameters    parameters = initialize_parameters(n_x, n_h, n_y)    W1 = parameters['W1']    b1 = parameters['b1']    W2 = parameters['W2']    b2 = parameters['b2']    # Loop (gradient descent)    for i in range(0, num_iterations):        ### START CODE HERE ### (≈ 4 lines of code)        # Forward propagation        A2, cache = forward_propagation(X, parameters)         # Cost function        cost = compute_cost(A2, Y, parameters)        # Backpropagation        grads = backward_propagation(parameters, cache, X, Y)        # Gradient descent parameter update.        parameters = update_parameters(parameters, grads)        # Print the cost every 1000 iterations        if print_cost and i % 1000 == 0:            print ("Cost after iteration %i: %f" %(i, cost))    return parameters