吴恩达深度学习笔记(一)week4 深层神经网络

来源:互联网 发布:网络打线钳 编辑:程序博客网 时间:2024/05/29 03:33

吴恩达深度学习笔记(一)week4 深层神经网络


虽然神经网络的层数变为深层,但推导过程和上周的一样


深层神经网络中的前向传播与反向传播

前向传播需要输入A[0]也就是X来初始化;A[0]对应一整个输入样本的输入特征(其中每一列代表的是一个样本的特征),即A[0]=a[0],a[1],a[2]a[m]),对应任意层l,设其输入为a[l1],输出为a[l],前向传播过程为:
z[l]=W[l]a[l1]+b[l]
a[l]=g[l](z[l])
向量化:
Z[l]=W[l]A[l1]+b[l]
A[l]=g[l](Z[l])
这里写图片描述
反向传播:输入为da[l],输出为da[l1]dW[l]db[l]
这里写图片描述
前向传播和反向传播的总结如下:
这里写图片描述


核对矩阵的维度

设第l层的神经元个数为n[l]
W[l]的维度为n[l]n[l1])
b[l]的维度为n[l]1)
z[l]a[l]的维度为n[l]1)
向量化 W[l]b[l]维度不变, A[l]Z[l]的维度变为n[l]m)m为输入样本的个数。

阅读全文
0 0