cs231n笔记(6)--反向求导
来源:互联网 发布:证件拍照软件下载 编辑:程序博客网 时间:2024/06/08 00:04
一.理解
反向求导在BP算法中也叫梯度下降,我对其的理解就是为了让最后的损失函数损失最小化(即识别误差最小),如何让最后误差最小呢?由于导数在几何上的意义是函数上升或者下降的趋势,那么我们可以把整个人工神经网络+损失函数的模型看成是一步一步的函数叠加的结果,输入为图像,输出为损失。那么每一个神经元(激活函数)以及之后损失函数都会对最后的误差结果产生影响。反向求偏导后(链式法则,每一步都对输入x求偏导)每一个神经元和误差函数都会有与之对应的导数,我们可以简单理解为当导数为正,有输入时(默认输入都为正去理解),此结点会让最后输出的误差变大,此后我们调节时就将此结点对应W变小。当导数为负时相反。举个简单例子:
绿子为输入输出,红字为相应结点导数。
二.
当我们训练整个模型时,一步一步根据每个结点的导数让损失下降时,就是把最高的损失降到最低,好像是下山一样。所以称之为梯度下降:
阅读全文
0 0
- cs231n笔记(6)--反向求导
- CS231n(12):反向传播笔记
- cs231n笔记--反向传播
- CS231n官方笔记:反向传播
- CS231n 课程笔记翻译:反向传播笔记
- CS231n课程笔记翻译:反向传播笔记
- CS231n课程笔记4.1:反向传播BP
- 斯坦福大学深度学习公开课cs231n学习笔记(4)正向传播及反向传播
- CS231n课程笔记翻译5:反向传播笔记
- cs231n(五)矩阵求导篇
- 【2017年cs231n学习笔记3】Lecture4-1 反向传播
- CS231N笔记——从KNN到反向传播
- cs231n-(4)反向传播
- CNN反向求导推导
- CS231n作业笔记1.3:SVM的误差函数以及反向传播(非向量及向量算法)
- CS231n-第6讲笔记
- CS231n(6):图像分类笔记(下)
- cs231n笔记
- 如何部署高可用的Redis集群架构
- 番外篇:生产要素最适投入分析(Optimum input of factors)
- Calcite-[3]-Adapters
- wam ros 仿真?
- 【计蒜客】「2017 计蒜之道 复赛」A.阿里云秘钥池 数位DP+莫比乌斯函数
- cs231n笔记(6)--反向求导
- CPU的设计原理,数据总线和地址总线
- 【Shiro权限管理】17.Shiro权限注解
- C语言逻辑运算符
- 分割整数
- 鼠标或者触屏滑动旋转角度查看人物效果(类似王者荣耀里选择人物查看)
- 输出乘法口诀表
- 架构设计:负载均衡层设计方案1
- 矩阵键盘