吴恩达神经网络和深度学习课程自学笔记（四）之深层神经网络

一些符号表示

深度神经网络

前向传播实现

第一个式子，x 可以用a^[0] 代替，因此有：

向量化，有：

反向传播实现

推导过程原理类似，有

导出反向传播函数：

向量化：

搭建神经网络块

示意图


前向和反向传播总流程：

矩阵的维数

（若是m 个样本，则只需把式子中括号中的“1”换为“m”；b不需要变）
要做深度神经网络的前向、反向传播必须保证所有的矩阵维数是前后一致的，这样可以避免很多BUG。

为何深层神经网络比较好用

（1）：深层神经网络的前几层能学习一些低层次的简单特征，后几层把简单的特征结合起来，可以去探索更复杂的东西。
（2）：和人脑的工作原理相似
（3）：和电路理论有联系。一个小的L层深度神经网络完成的工作，用浅层神经网络同样完成则浅层神经网络需要的隐藏单元数目会指数式增长。

参数和超参数

参数是指w，b；而超参数是指控制参数的参数，即α、L、n^[1],n^[2],……、激活函数等。
超参数不是不变的，会随着时间（计算机的发展，数据等）而改变。
我们在平时要多调试，调的多了，就会有直觉来确定超参数。