Coursea吴恩达《神经网络和深度学习》(4)
来源:互联网 发布:陕西网络创新研究院 编辑:程序博客网 时间:2024/06/17 04:08
转载自http://blog.csdn.net/koala_tree/article/details/78087711
神经网络和深度学习—深层神经网络
1. 矩阵的维度
DNN结构示意图如图所示:
对于第
W[l] :(n[l],n[l−1]) b[l] :(n[l],1) dW[l] :(n[l],n[l−1]) db[l] :(n[l],1) Z[l] :(n[l],1) A[l]=Z[l] :(n[l],1)
2. 为什么使用深层表示
人脸识别和语音识别:
对于人脸识别,神经网络的第一层从原始图片中提取人脸的轮廓和边缘,每个神经元学习到不同边缘的信息;网络的第二层将第一层学得的边缘信息组合起来,形成人脸的一些局部的特征,例如眼睛、嘴巴等;后面的几层逐步将上一层的特征组合起来,形成人脸的模样。随着神经网络层数的增加,特征也从原来的边缘逐步扩展为人脸的整体,由整体到局部,由简单到复杂。层数越多,那么模型学习的效果也就越精确。
对于语音识别,第一层神经网络可以学习到语言发音的一些音调,后面更深层次的网络可以检测到基本的音素,再到单词信息,逐渐加深可以学到短语、句子。
所以从上面的两个例子可以看出随着神经网络的深度加深,模型能学习到更加复杂的问题,功能也更加强大。
电路逻辑计算:
假定计算异或逻辑输出:
对于该运算,若果使用深度神经网络,每层将前一层的相邻的两单元进行异或,最后到一个输出,此时整个网络的层数为一个树形的形状,网络的深度为
即输入个数为n,输出个数为n-1。
但是如果不适用深层网络,仅仅使用单隐层的网络(如右图所示),需要的神经元个数为
3. 前向和反向传播
首先给定DNN的一些参数:
- L:DNN的总层数;
n[l] :表示第l 层的包含的单元个数;a[l] :表示第l 层激活函数的输出;W[l] :表示第l 层的权重;- 输入
x 记为a[0] ,输出ŷ 记为a[L] 。
前向传播(Forward propagation)
Input:
Output:
- 公式:
z[l]=W[l]⋅a[l−1]+b[l]a[l]=g[l](z[l]) - 向量化程序:
Z[l]=W[l]⋅A[l−1]+b[l]A[l]=g[l](Z[l])
反向传播(Backward propagation)
Input:
Output:
- 公式:
dz[l]=da[l]∗g[l]′(z[l])dW[l]=dz[l]⋅a[l−1]db[l]=dz[l]da[l−1]=W[l]T⋅dz[l]
将da[l−1]代入dz[l] ,有:dz[l]=W[l+1]T⋅dz[l+1]∗g[l]′(z[l]) - 向量化程序:
dZ[l]=dA[l]∗g[l]′(Z[l])dW[l]=1mdZ[l]⋅A[l−1]db[l]=1mnp.sum(dZ[l],axis=1,keepdims=True)dA[l−1]=W[l]T⋅dZ[l]
4. 参数和超参数
参数:
参数即是我们在过程中想要模型学习到的信息,
超参数:
超参数即为控制参数的输出值的一些网络信息,也就是超参数的改变会导致最终得到的参数
举例:
- 学习速率:
α - 迭代次数:N
- 隐藏层的层数:L
- 每一层的神经元个数:
n[1],n[2],⋯ - 激活函数
g(z) 的选择
更多超参数的调整和学习吴恩达老师将在下一个主题中介绍。
- Coursea吴恩达《神经网络和深度学习》(4)
- Coursea吴恩达《卷积神经网络》课程笔记(2)深度卷积网络
- Coursea吴恩达《优化深度神经网络》课程笔记(3)超参数调试、正则化以及优化
- 神经网络和深度学习
- 吴恩达DeepLearning-course1-神经网络和深度学习
- 吴恩达-深度学习-神经网络和深度学习-第二周
- 吴恩达 神经网络和深度学习 第二周神经网络基础笔记
- 吴恩达 神经网络和深度学习 第三周浅层神经网络
- 吴恩达深度学习入门学习笔记之神经网络和深度学习(第二周:神经网络基础)
- 吴恩达深度学习入门学习笔记之神经网络和深度学习(第二周:神经网络基础)
- 【神经网络和深度学习】笔记
- 【神经网络和深度学习】笔记
- Coursera吴恩达《神经网络和深度学习》课程笔记(2)
- Coursera吴恩达《神经网络和深度学习》课程笔记(3)
- 神经网络和深度学习-学习总结
- 【神经网络和深度学习】学习笔记
- 深度学习4:神经网络的架构和类型
- 吴恩达深度学习入门学习笔记之神经网络和深度学习(第一周)
- MarkDown基本使用
- HashMap源码剖析
- 防雪崩利器Hystrix
- 浅谈链式编程
- Aladdin and the Flying Carpet LightOJ
- Coursea吴恩达《神经网络和深度学习》(4)
- vue初级学习--组件的使用(自定义组件)
- 关于Android RenderScript 的详细说明和一些实用文档
- python 京东登陆抢卷
- 使用Unity开发Tango的环境配置
- Mybatis介绍
- 自然语言处理技术的三个里程碑
- 【转载】Atom配置页
- python官方文档网址