caffe学习笔记3.2--前向传播和反向传播
来源:互联网 发布:数据库的结构层次 编辑:程序博客网 时间:2024/05/19 02:06
caffe学习笔记3从3.1开始主要翻译一下caffe的官方文档,写的非常好,忍不住要作一下。本篇翻译来自caffe官网的:http://caffe.berkeleyvision.org/tutorial/forward_backward.html
前向传播和反向传播是计算神经网络非常重要的部分。
考虑一个简单的逻辑回归分类问题
前向传播:通过网络的输入计算输出结果的过程,在前向传播中,caffe整合每一层的计算得到整个模型的计算函数,这个过程是个自底向上的过程,如图:
数据x通过通过内积层得到g(x),然后通过softmax得到h(g(x))和损失函数(softmax loss)fw(x).
反向传播网络:根据损失计算梯度,在反向传播过程中,Caffe通过自动求导计算逆向组合每一层的梯度得到整个模型的梯度,在反向传播中,这个过程是自顶向下的。如图:
反向过程由loss开始,根据输出计算梯度dfw/dh (fw对h求导), 模型中其余各层的梯度根据链式法则计算。每层的参数:如INNER_PRODUCT层,在反馈过程中对参数计算梯度dfw/dWip.
你只需要定义好模型,这些计算就可以立即执行,caffe已经定义好的前向传播和反向传播的执行方法。
Net::Forward()和Net::Backward()实现整个网络的前向与后向的传播,Layer::Forward和Layer::Backward()计算每一层的前后向的传播
每一层都有backward_{cpu,gpu}和backward{cpu,gpu}方法适应不同的计算模式。但是,一个层仅能使用其中的一种模式
Solver优化一个模型,首先通过forward计算输出和损失,然后通过backward生成模型的梯度,让后根据梯度和权值更新最小话损失函数,Solver,Net和Layer间的分离保证了caffe的模块化设计和开源。
参考资料:
http://caffe.berkeleyvision.org/tutorial/forward_backward.html
- caffe学习笔记3.2--前向传播和反向传播
- caffe学习笔记3.2--前向传播和反向传播
- 深度学习之caffe 前向传播和反向传播
- Caffe源码解读:relu_layer前向传播和反向传播
- 无意义-深度学习前向反向传播笔记
- 深度学习21天实战Caffe学习笔记--笔记5--caffe中前向传播、反向传播及最优化求解过程
- 深度学习21天实战Caffe学习笔记--笔记5--caffe中前向传播、反向传播及最优化求解过程
- 深度卷积神经网络学习笔记2:步长不为1的卷积前向传播和反向传播
- 神经网络中前向传播和反向传播解析
- 前向传播和反向传播(举例说明)
- 深度学习:神经网络中的前向传播和反向传播算法推导
- 前向传播与反向传播代码
- Caffe源码解读: SoftmaxLayer的前向与反向传播
- Caffe源码解读: Softmax_loss_Layer的前向与反向传播
- Caffe tutorial 之 前向与反向传播
- Caffe源码解读:conv_layer的前向传播与反向传播
- Caffe源码解读:pooling_layer的前向传播与反向传播
- Caffe学习笔记—Caffe反向传播计算
- springmvc 常用的注解
- UVA_11100_The Trip, 2007
- c++的输入与输出,/r与/n的区别
- redis之数据安全与性能保障
- 机器学习实践指南(一)—— 总论
- caffe学习笔记3.2--前向传播和反向传播
- 绘制圆形以及球体
- 20160425待整理
- Linux计划任务,自动删除n天前的旧文件
- 机器学习之——多类分类问题
- 配置并运行Activiti Explorer
- java实现发送邮件工具
- 自己动手,丰衣足食 —— 学习自定义View(一)
- C/C++获取当前系统时间