【机器学习】神经网络及BP推导
来源:互联网 发布:淘宝上买的车衣不耐用 编辑:程序博客网 时间:2024/04/20 09:14
参考 https://www.zybuluo.com/Feiteng/note/20154
1 前向传播
这里的推导都用矩阵和向量的形式,计算单个变量写起来太麻烦。矩阵、向量求导可参见上面参考的博客,个人觉得解释得很直接很好。
前向传播每一层的计算如下:
2 反向传播
为了得到好的模型,我们要更新参数
我们将神经网络的损失函数记为
之后,就要计算
反向传播之所以和正向传播这么对比着说,是因为反向传播也是一层一层地计算。首先看最后一层(假设最后一层没有激活):
我们记:
通过(1.1)和(1.2)我们可以得出:
将(2.3)-(2.5)代入(2.1)、(2.2)得:
下面我们看倒数第二层:
观察(2.6)-(2.9)可以发现,形式都是相同的,所以问题就是,
由(2.10)可以看出,粉色部分是上轮更新后固定的,蓝色部分是反向传播时上一层计算好的,只有本层的棕色部分需要计算。
这样,一层接着一层,直到将所有的
同时也可以看出,在计算梯度的时候,(2.10)中棕色的部分是导数,如果这个导数部分过大,则会产生所谓的“梯度爆炸”的问题,如果过小,则会出现“梯度弥散”的问题。比如
- 【机器学习】神经网络及BP推导
- 机器学习之神经网络bp算法推导
- 神经网络及BP推导
- 机器学习入门学习笔记:(1)BP神经网络原理推导及程序实现
- BP神经网络公式推导及实现(MNIST)
- 多层神经网络BP算法 原理及推导
- 多层神经网络BP算法 原理及推导
- BP神经网络的原理及推导
- 多层神经网络BP算法 原理及推导
- BP神经网络数学原理及推导过程
- BP神经网络原理推导(学习笔记)
- 机器学习之BP神经网络
- 机器学习02之BP神经网络图解及JAVA实现
- 机器学习神经网络算法(经典BP算法结合实例推导)原理
- BP神经网络算法推导
- BP神经网络原理推导
- BP神经网络算法推导
- BP神经网络算法推导
- Git小结
- awk内置变量之OFMT、CONVFMT、RLENGTH、RSTART
- 线性基+树链剖分(bzoj4568)
- 序列标注模型和分类器标注模型区别
- 设计模式之观察者模式
- 【机器学习】神经网络及BP推导
- HDU
- PAT乙级题1020.月饼
- poj 1236 Network of Schools 强连通
- 设计模式之装饰者模式
- 正则
- jdk环境变量配置
- selenium常用方法——基于Python
- 169. Majority Element (数组)