深度学习笔记之Andrew Ng(4)
来源:互联网 发布:sql表不允许保存更改 编辑:程序博客网 时间:2024/05/29 01:56
WEEK4:
最后一周的内容,讲的还是神经网络部分。但是升级成为了多层的深度神经网络,那么本质上,神经网络的原理还是不变的,那么在加深了神经网络的layer之后,我们在计算上,出现了一些不同。
先上图:
如图我们看到的是一个四层Hidden layer的神经网络,那么这个教程主要围绕如包括四层隐含层的神经网络的创建。
正向传播(Forward propagation):
如图,正向传播的公式,是把单层的layer变成多层的layer,然后在进行和单层神经网络一样的推导,求出每层每个神经元的值。
逆向传播(Back propagation):
这里,由于得到的是一个多层的神经网络,把每层都做一次正向传播与逆向传播的代码,显然是比较繁琐的,所以这里面,我们要改进我们的算法结构,如下图:
在这里,我们每计算出一层的w,b与a,就把他们都存在cache中,然后等待下一层神经元的计算,这样正向的计算与逆向的计算就一目了然了,这样,每得到一个y的同时,我们也得到了dw,db和dz,da。方便于计算。
以上两幅图片分别是正向传播中需要用到的参数,和逆向传播中的参数的求解。
超参数(hyperparameter):
一般来说,w,b等参数,是我们直接上操作的参数,那么还有一些能够影响这些参数的参数,如n,学习率a等,我们称之为超参数。这些在代码中,使用得当,可以使模型表现更好,准确率更高!
阅读全文
0 0
- 深度学习笔记之Andrew Ng(4)
- 深度学习笔记之Andrew Ng(1)
- 深度学习笔记之Andrew Ng(2)
- 深度学习笔记之Andrew Ng(3)
- 吴恩达(Andrew Ng)深度学习工程师笔记
- 吴恩达(Andrew Ng)深度学习工程师笔记
- 吴恩达(Andrew Ng)深度学习工程师笔记
- 吴恩达(Andrew Ng)深度学习工程师笔记
- 吴恩达(Andrew Ng)深度学习工程师笔记
- Andrew Ng机器学习课程笔记(四)之神经网络
- Andrew Ng 机器学习笔记(一)
- Andrew Ng 机器学习笔记(二)
- Andrew Ng 机器学习笔记(三)
- Andrew Ng 机器学习笔记(四)
- Andrew Ng 机器学习笔记(五)
- Andrew Ng 机器学习笔记(六)
- Andrew Ng 机器学习笔记(七)
- Andrew Ng 机器学习笔记(八)
- [python爬虫] 正则表达式使用技巧及爬取个人博客实例
- JavaScript中的隐式转换 总结
- 神经网络 ANN 分类器 OpenCV实现 例子
- seq_file接口编程浅析
- ping: unknown host 解决办法
- 深度学习笔记之Andrew Ng(4)
- vi命令
- java 模拟器 多态
- 【转】TCP和UDP区别小结
- C++声明与定义的区别
- VS2010 LINK : fatal error LNK1123: 转换到 COFF 期间失败: 文件无效或损坏问题的解决方案
- 为虚拟机扩容
- 报表查询的两种模式
- mybatis在xml文件中处理大于号小于号的方法