深度学习DeepLearning.ai系列课程学习总结：7. 深层神经网络理论学习

转载过程中，图片丢失，代码显示错乱。

为了更好的学习内容，请访问原创版本：

http://www.missshi.cn/api/view/blog/59a6ad67e519f50d040000e6

Ps：初次访问由于js文件较大，请耐心等候（8s左右）

在之前的课程中，我们学习了浅层神经网络的基本原理。

接下来，我们会对浅层神经网络进行扩展，来了解深层神经网络的基本原理。

 

深层神经网络简介

什么是深层神经网络呢？

之前我们已经学习了Logistic回归和包含一个隐藏层的神经网络了。

二者结构分别如下：

而一个包含两个隐藏层的神经网络结构如下：

对于一个包含五个隐藏层的神经网络结构如下：

而什么是深层神经网络呢？深层神经网络主要是指的包含的隐藏层的深度。

近些年的研究发现，对于一些场景，我们使用浅层的神经网络无法很好的拟合。

而随着神经网络的层数越多，则可以拟合的场景越复杂。

实际上，在利用神经网络解决一些问题时，我们首先需要预先准确的判断神经网络所需要的深度。

在接下来的课程中，我们使用[l]上标来表示其所在第l层神经网络。

即n[l]表示第l层神经元的数目。

a[l]表示第l层激活函数的输出值。

W[l]表示第l层的权重系数。

 

深层神经网络的前向传播

接下来，我们来看一下神经神经网络中的前向传播。

假设一个神经网络的结构如下：

对于一个训练样本x，首先需要计算第一层的输出：

接下来，我们计算一下第二层的输出：

后面的几层计算方法与第二层是类似的，这里就不一一描述了。

总结一下规律，我们可以发现：

ps：我们可以把x看作是a[0].

接下来，我们可以使用矢量化的方法来训练整个训练集：

 

核对矩阵维数

在我们编写我们的神经网络代码的过程中，一个减少Bug的方法是认真检查我们网络中每一层的维度是否正确。

通常，可以会由于网络维度不正确而引起一些问题。

接下来，我们来了解一下如何检查深度网络中矩阵的维度。

以下图这个5层的神经网络为例：

从上图可以看出：

接下来，我们来看一下z,w和x的维度：

以第一个隐藏层为例：

其中，z[1]的维度为(3,1)。x的维度是(2,1)。

此时，W[1]的维度应该是(3,2)，而b[1]的维度应该是(3,1)。

总结一下规律：

W[1]的维度应该是(n[1], n[0])，b[1]的维度应该是(n[1],1)

 

W[2]的维度应该是(n[2], n[1])，b[2]的维度应该是(n[2],1)

即：W[l]的维度应该是(n[l], n[l-1])，b[l]的维度应该是(n[l],1)

此外，dW和W的维度应该相同，同理db和b的维度应该一致，a和z的维度相同。

 

那么，对于向量化的实现后，这些变量的维度又是什么样呢？

首先，对于W, b, dW和db而言，向量化不会影响其维度。

但是对于Z, A而言，它们的维度是会发生变化的。

具体来看一下：

其中，Z[l]是m个样本的z[l]叠加到一起产生的。

所以，Z[l]的维度不再是(n[l],1)，而是(n[l],m)

对于A，同理不再是(n[l],1)，而是(n[l],m)

为什么使用深层网络表示

我们都知道，深度学习可以用于解决一些复杂问题。

尤其是当问题相对复杂时，需要的网络深度通常越深。

那么为什么需要比较深的网络才能解决一些复杂问题呢？

首先，我们来了解一些这些深层网络的作用分别是什么：

以一个人脸识别的系统为例，此时，深层网络中的第一层通常的作为可以认为是一个特征探测器或称之为边缘探测器。

后续的神经网络层可能会是将这些边缘特征进行组合，得到面部的不同部分，例如如下形式：

最后，再将这些面部不同部分组合起来，就可以用于识别或探测不同的人脸啦！

通过，对于边缘（特征）探测器而言，通过是从一个较小的区域进行分析得到的。

而在后续一层层组合后，对于面部的识别，则通常针对的是一个更大更复杂的区域。

这种从简单特征提取，再一步步到复杂特征组合的过程，不仅仅是应用于人脸识别领域，而是可以应用于大部分领域。

例如一个语音识别的系统，需要解决的问题是如何更好的理解语音信号。

此时，通常神经网络的前几层主要是试着去试探简单的音频特征，例如音调、噪声等等。

后续通过将这些简单特征进行组合，仅可以得到一些相对高级的特征，例如音位等。

再然后，继续组合将能得到一些单词信息，最终将会得到一些完整的句子等信息。

所以，对于深层学习而言，通常前面几层用于学习一些简单特征，随着深层的增多，不断的对简单特征进行组合，最终得到一些高级特征。

搭建深层神经网络块

接下来，我们以一个神经网络为例，来分析其计算方式：

我们以其中一层（第l层）为例进行分析：

在该层中，和时第l层的相关参数。

而该层的输入为，输出为.

其中，且、。

此时，我们可以将作为缓存值进行保留，因为它将对于后续的反向传播计算非常有用。

下面，我们来看一下第l层的反向传播计算。

其输入为以及，输出为，和。

总结一下，第l层的结构简图如下：

而对于完整的神经网络而言，其前向传播、反向传播的完整流程图基本样式如下：

 

前向和反向传播

在上一节中，我们了解了神经网络中基本的计算块结构。

在接下来的内容中，我们将会详细了解每个计算块内部的计算过程。

首先来看前向传播：

输入为，输出为，同时缓存为。

具体计算公式和我们之间讲解过的公式相同：

下面我们来继续看下反向传播：

输入为，输出为，和。

其中，计算公式如下：

在这个过程中，我们忽略了对求导过程中的证明，如果感兴趣的同学大家可以自行进行证明。

参数与超参数

想要使你的神经网络有一个较好的性能，那么恰当的选择相关的参数/超参数是一个很重要的工作。

那么什么是参数？而什么又是超参数呢？

其中，和我们通常认为它们是参数，即我们在训练过程中需要不断学习的值。

当然，在整个训练网络中，我们还用到了一些其他的参数，例如学习速率，迭代次数甚至是隐藏层数目，神经元数量，激活函数类型等等。

这一系列需要我们设置的参数我们统称其为超参数。

这些超参数将会在某种程度上影响我们最终得到的W和b。

目前来看，如何选择超参数通常没有一个永远正确的准则，而是需要我们通过不断的尝试进行试验，从而找到相对较好的超参数。

当然，在后续的课程中，我们也会对一些超参数选择的经验进行一些讲解。

但是，实际应用中，我们还是会有大量的工作是用于重复试验来选择合适的超参数，目前来看这个过程还是必须的。 

深层网络与大脑

经常有人将深度学习与人类大脑的思维方式进行类比，那么深度学习和大脑的思维方式究竟有什么关联吗？

但是，我们其实认为二者的关联其实并不大！

主要原因是人类大脑实在是太复杂了，即使是神经科学家，目前也无法真正大脑中的神经元的工作原理究竟是什么样的。

更多更详细的内容，请访问原创网站：

http://www.missshi.cn/api/view/blog/59a6ad67e519f50d040000e6

Ps：初次访问由于js文件较大，请耐心等候（8s左右）