学习笔记-利用Gradient Checking检查神经网络模型
来源:互联网 发布:淘宝店铺详情页装修 编辑:程序博客网 时间:2024/06/05 17:37
利用Gradient Checking检查神经网络模型
在搭建完神经网络模型后怎样判断中间有没有bug呢?这就要用到Gradient Checking了。
一般前向传播网络的计算不容易出错,而在计算反向传播网络的过程中很容易出错。
学过微积分的都知道,某一点的导数可以用以下公式近似表示:
因此我们只要比较近似值(gradapprox)与实际值(grad)之间的差异,如果差异足够小,就可以认为反向传播网络的计算过程没有问题。
计算差异的公式如下:
(在python里,上述公式的分子可以用np.linalg.norm(…)计算获得)
Gradient Checking的运行很好时,我们不必在训练的每次迭代过程都使用它,只要测试几次没有问题就可以不用管了。Gradient Checking实际是在证明反向传播算法计算的梯度与我们定义的梯度估计值很相近。
注:如无特殊说明,以上所有图片均截选自吴恩达在Coursera开设的神经网络系列课程的讲义。
阅读全文
0 0
- 学习笔记-利用Gradient Checking检查神经网络模型
- 斯坦福机器学习-week5 学习笔记(1)——神经网络训练BP算法与Gradient checking
- 改善深层神经网络第一周-Gradient Checking
- 神经网络模型学习笔记
- 深度学习 Deep Learning UFLDL 最新Tutorial 学习笔记 4:Debugging: Gradient Checking
- ufldl学习笔记与编程作业:Debugging: Gradient Checking(梯度检测)
- 模型检测model checking学习
- deeplearning-Gradient Checking
- 机器学习笔记之神经网络模型(一)
- 机器学习笔记之神经网络模型(二)
- 神经网络模型学习笔记(ANN,BPNN)
- 两本模型检查的书 Model Checking
- 神经网络学习笔记(七):线性回归模型(上)
- 神经网络学习笔记(八):线性回归模型(下)
- 卷积神经网络(CNN)学习笔记2:模型训练
- 卷积神经网络(CNN)学习笔记2:模型训练
- 机器学习算法的调试 —— 梯度检验(Gradient Checking)
- 机器学习算法的调试 —— 梯度检验(Gradient Checking)
- 如何隐藏盒子
- Visual Studio当前不会命中断点,还没有为该文档加载任何符号解决方法
- easyui tree js分析
- 学习之路上的小知识
- python time模块
- 学习笔记-利用Gradient Checking检查神经网络模型
- 生成对抗网络GAN(二) 语音相关
- Java面试题全集(下)
- 软件工程(C编码实践篇)学习总结
- 利用java语言设计项目界面
- 一个脚本打比赛之SMP WEIBO 2016
- 配置git和github
- Deepin 15.4.1 安装 CPU 版 Caffe
- 6.4求所有数的平方和立方