深度学习5：python实现三层神经网络

今天实现一个三层的神经网络，网络模型如下图：

该网络的实现源码：（编译环境：Jｕｐｙｔｅｒ　Ｎｏｔｅｂｏｏｋ　ｐｙｔｏｎ３）

import numpy as np

#定义一个激活函数

def sigmoid(X, deriv = False):    if(deriv == True):                return X*(1-X)    return 1/(1+ np.exp(-X))    #构造数据集x = np.array([[0,0,1],             [0,1,1],             [1,0,1],             [1,1,1],             [0,0,1]])print(x.shape)y = np.array([[0],[1],[1],[0],[0]])print(y.shape)#指定随机的种子,每次运行产生相同数据np.random.seed(1)#L0有三个特征，L1有4个神经元，所以w0为3行4列,取值范围（-1，1）w0 = 2*np.random.random((3,4))-1w1 = 2*np.random.random((4,1))-1print(w0)#神经网络模型构造及训练for j in range(1000001):    #L0层    l0 = x    #前向传播，计算后l1为5行4列    l1 = sigmoid(np.dot(l0,w0))    #前向传播，计算后l2为5行1列    l2 = sigmoid(np.dot(l1,w1))    #计算预测值与标签的差异值    l2_error = y - l2    if(j %100000)==0:        print('Error'+str(np.mean(np.abs(l2_error))))        print(j)             #方向传播，计算梯度值    #如l2_error很大，则需要大力度更新；如果l2_error很小，则只需要更新一点点    #所以导数乘以l2_error, *为连个5行一列的矩阵对应位置相乘       l2_delta = l2_error * sigmoid(l2, deriv=True)    #l2_delta5行1列，w14行1列，    l1_error = l2_delta.dot(w1.T)      l1_delta = l1_error * sigmoid(l1, deriv=True)        #更新参数    #l15行4列，l2_delta5行1列，w1为4行一列    w1 += l1.T.dot(l2_delta)    #l05行3列，l2_delta5行4列，w0为3行4列    w0 +=  l0.T.dot(l1_delta)

如果你能够看懂上面这些代码，那么恭喜你已经理解了前向传播和反向传播的原理。

（1）部分代码演示：

（2）关于激活函数，sigmoid函数：

Sigmoid函数是一个在生物学中常见的S型的函数，也称为S型生长曲线。  由于其单增以及反函数单增等性质，Sigmoid函数常被用作神经网络的阈值函数，将变量映射到0,1之间。因为它的非线性映射关系，因此也常用作激活函数：

定义激活函数代码中：

def sigmoid(X, deriv = False):

    if(deriv == True):        

        return X*(1-X)

    return 1/(1+ np.exp(-X))   

deriv为True时，就是sigmoid函数的导数，反向传播的时候调用。

（3）网络模型反向传播

反向传播时，Y-L2就是代码中的误差l2_error,根据导数链式法则l2_error*sigmoid函数的导数，就是反向传播到第一个sig园圈后的误差值。经历第一个sig圆圈后，再往回传就是w1*x,其导数值为x,所以l1_error等于l2_delta.dot(w1.T)。l1_error到l1_delta原理同右边第一个sig圆圈。

运行结果：

更多更好文章，欢迎关注公众号：深圳程序媛（ｕｐｄａｔｅｄａｙｂｙｄａｙ）