浅析深度学习mini_batch的BP反传算法
来源:互联网 发布:淘宝上的狗狗靠谱吗 编辑:程序博客网 时间:2024/06/04 18:19
在深度学习中,如果我们已经定义了网络,输入,以及输出,那么接下来就是损失函数,优化策略,以及一般由框架完成的BP反传。这篇博文我们主要探讨一下深度的BP反传算法(以梯度下降为例),尤其是mini_batch的BP反传,目标是如何更新网络的参数:权重和偏置。
首先,我们来看网络中基本参数的一些定义。
使用梯度下降法,一般计算所有样本的损失函数的平均值,进而计算梯度方向。但是,当样本n特别多的时候,计算会比较困难。因此,提出了随机梯度下降的方法,即我们从样本集中随机抽取m个样本,其计算的平均梯度近似于通过全部样本计算的平均梯度。
当m=1时,SGD算法如下:
当m=k时,mini_batch算法如下:
通过对比m=1和m=k算法流程,我们发现,mini_batch方法的梯度是由mini_batch里的样本共同决定(平均值),计算出来的梯度一般比k=1的时候准确。
关于算法中的公式,我们通过以下方法进行推导:
参考资料:http://neuralnetworksanddeeplearning.com/index.html
1 0
- 浅析深度学习mini_batch的BP反传算法
- 深度学习Python mini_batch批处理训练
- 深度学习BP算法 BackPropagation
- 【深度学习:CNN】BP算法
- 深度学习 2 : BP 算法
- 深度学习中BP(Backpropagation)算法的工作流程
- 深度学习之后向传输(BP)算法
- BP学习算法的实现
- BP网络的学习算法
- 深度学习算法实践8---BP算法详解
- 深度学习算法实践8---BP算法详解
- 深度学习BP算法的推导(附加RNN,LSTM的推导说明)
- 深度学习BP算法的推导(附加RNN,LSTM的推导说明)
- 深度学习BP算法的推导(附加RNN,LSTM的推导说明)
- 深度学习BP算法的推导附加RNN-LSTM的推导
- 深度学习BP算法的推导(附加RNN,LSTM的推导说明)
- [deeplearning-007]深度学习的核心bp算法的原创论文1986nature
- 深度学习框架Caffe学习笔记(8)-BP神经网络算法
- Google C++命名规范(转)
- MySQL WHERE语句
- hadoop2.6.0版本搭建伪分布式环境 本文转自 http://blog.csdn.net/stark_summer/article/details/43484545
- form的onsubmit事件--表单提交前的验证实现方式
- tomcat的index.jsp
- 浅析深度学习mini_batch的BP反传算法
- Fragment使用问题总结
- centos7 安装mysql5.6.34 配置双master keepalived实现
- Let’s Hook a Library Function
- 解决 Win10 提示 Net Keeper 不能在虚拟机下运行的问题
- 仿射变换详解 warpAffine
- Android KeyCode列表
- 查找字符串中要查找的字符串最后一次出现的位置
- Ionic相关整理