DeepLearning.ai学习笔记(一)神经网络和深度学习--Week4深层神经网络
来源:互联网 发布:吉他谱有什么软件 编辑:程序博客网 时间:2024/05/29 07:38
一、深层神经网络
深层神经网络的符号与浅层的不同,记录如下:
- 用
-
-
二、前向和反向传播
1. 第l 层的前向传播
输入为
a[l−1]
输出为a[l] , cache(z[l] )
矢量化表示:
2. 第l 层的反向传播
输入为
da[l]
输出为da[l−1],dW[l],db[l]
计算细节:
矢量化表示:
3. 总结
前向传播示例
反向传播
三、深层网络中的前向传播
四、核对矩阵的维数
这节的内容主要是告诉我们如何知道自己在设计神经网络模型的时候各个参数的维度是否正确的方法。其实我自己在写代码的时候都得这样做才能有信心继续往下敲键盘,2333。
还是以这个神经网络为例,各层神经网络节点数为
先确定
已知
其他层同理,不再赘述。
五、为什么使用深层表示
为什么要使用深层表示?
下面就从直观上来理解深层神经网络。
如上图所示是一个人脸识别的过程,具体的实现步骤如下:
1.通过深层神经网络首先会选取一些边缘信息,例如脸形,眼框,总之是一些边框之类的信息(我自己的理解是之所以先找出边缘信息是为了将要观察的事物与周围环境分割开来),这也就是第一层的作用。
2.找到边缘信息后,开始放大,将信息聚合在一起。例如找到眼睛轮廓信息后,通过往上一层汇聚从而得到眼睛的信息;同理通过汇聚脸的轮廓信息得到脸颊信息等等
3.在第二步的基础上将各个局部信息(眼睛、眉毛……)汇聚成一张人脸,最终达到人脸识别的效果。
六、搭建深层神经网络块
上图表示单个神经元的前向和反向传播算法过程。
前向
输入a[l−1] ,经过计算g[l](w[l]⋅a[l−1]+b[l]) 得到a[l] 反向
计算da[l] ,然后反向作为输入,经过一系列微分运算得到dw[l],db[l] (用来更新权重和偏差),以及上一层的da[l−1] 。
推广到整个深层神经网络就如下图所示:
七、参数 vs 超参数
参数
常见的参数即为W[1],b[1],W[2],b[2]…… 超参数
- learning_rate:
α - iterations(迭代次数)
- hidden layer (隐藏层数量
L ) - hidden units (隐藏层神经元数量
n[l] ) - 激活函数的选择
- minibatch size
- 几种正则化的方法
- momentum(动力、动量)后面会提到
- learning_rate:
八、这和大脑有什么关系
主要就是说神经网络和人的大脑运行机理貌似很相似,blabla。。。
MARSGGBO♥原创
2017-9-2
- DeepLearning.ai学习笔记(一)神经网络和深度学习--Week4深层神经网络
- 吴恩达深度学习笔记(一)week4 深层神经网络
- DeepLearning.ai学习笔记(一)神经网络和深度学习--Week3浅层神经网络
- 吴恩达Coursera深度学习课程 DeepLearning.ai 提炼笔记(1-4)-- 深层神经网络(转载)
- 吴恩达Coursera深度学习课程 DeepLearning.ai 提炼笔记(1-4)-- 深层神经网络
- deeplearning.ai之神经网络和深度学习
- 深度学习DeepLearning.ai系列课程学习总结:7. 深层神经网络理论学习
- DeepLearning.ai学习笔记(二)改善深层神经网络:超参数调试、正则化以及优化--Week1深度学习的实用层面
- 《深度学习Ng》课程学习笔记01week4——深层神经网络
- 吴恩达Coursera深度学习课程 DeepLearning.ai 提炼笔记(1-2)-- 神经网络基础
- 吴恩达Coursera深度学习课程 DeepLearning.ai 提炼笔记(1-3)-- 浅层神经网络
- 吴恩达Coursera深度学习课程 DeepLearning.ai 提炼笔记(4-1)-- 卷积神经网络基础
- 吴恩达Coursera深度学习课程 DeepLearning.ai 提炼笔记(1-2)-- 神经网络基础(转载)
- 吴恩达Coursera深度学习课程 DeepLearning.ai 提炼笔记(4-1)-- 卷积神经网络基础
- Coursera深度学习课程 DeepLearning.ai 提炼笔记(1-2)-- 神经网络基础
- Coursera深度学习课程DeepLearning.ai 提炼笔记(1-3)-- 浅层神经网络
- 神经网络和深度学习笔记(一)
- 吴恩达神经网络和深度学习课程自学笔记(四)之深层神经网络
- gdb调试之linux pc和linux arm环境下
- 《HBase权威指南》读书笔记 第八章:架构,region拆分
- 链家面试
- 1047:阿姆斯特朗数
- 自己手打的Retrofit2+Rxjava 2结合的案例
- DeepLearning.ai学习笔记(一)神经网络和深度学习--Week4深层神经网络
- 机器学习笔记-第四章 神经网络
- C++在构造函数中防止资源泄露(9)---《More Effective C++》
- 单例模式和静态类
- 排序算法--直接插入排序、折半插入排序、希尔排序
- localStorage和sessionstorage
- CodeForces 384E Propagating tree 树状数组dfs序组合使用
- HDU
- 深度学习视觉领域常用的数据集汇总