caffe源码 链式法则
来源:互联网 发布:node v4.6.0 x64.msi 编辑:程序博客网 时间:2024/05/16 04:59
网络结构
首先我们抽象理解下一个网络结构是怎样的,如下图所示
- F1,F2,F3为某种函数
- input为输入数据,output为输出数据
- X1,X2为为中间的层的输入输出数据
总体来说有以下关系
- X1 = F(input)
- X2 = F1(X1)
- output = F2(X2)
在训练过程中output其实就是loss层的输出,训练的目的就是为了把loss值降到最低
链式法则
- 链式法则(英文chain rule)即是微积分中的求导法则,用于求一个复合函数的导数,是在微积分的求导运算中一种常用的方法。
- 表达式:
- 其他形式:
链式法则用文字描述,就是“由两个函数凑起来的复合函数,其导数等于里边函数代入外边函数的值之导数,乘以里边函数的导数。
梯度计算
- 假设要求output对X1的梯度
- 由output = F2(F1(X1)),根据链式法则,output对X1的梯度为
- 假设F(x)= wx + b,相求output对w和b的梯度
- 则output对w的梯度为
- 则output对w的梯度为
阅读全文
0 0
- caffe源码 链式法则
- caffe 源码
- Caffe源码
- Caffe源码
- Caffe源码
- Caffe源码
- Caffe源码
- Caffe 源码
- 漫步数学分析三十四——链式法则
- 微积分拾遗——链式法则
- 贝叶斯网与链式法则的理解
- 链式线性表源码
- 数据结构 链式存储源码
- 【caffe源码研究】caffe笔记
- Caffe源码解析caffe.cpp
- 队列的链式实现源码
- 漫步微积分十——复合函数和链式法则
- 重温微积分 —— 偏微分与链式法则
- HDU
- 我用过的计算机
- SpringBoot学习(四)——WEB开发
- linux操作系统
- Hive DDL & 内部表与外部表
- caffe源码 链式法则
- caffe源码 全连接层
- caffe源码 卷积层
- hdu5877 Weak Pair(离散化+线段树+dfs)
- 上帝是个程序猿
- 如何将电脑的无线网通过有线分享给其他设备
- Dos帮助文档
- C++PRIMER第5版第二章自做
- PostgreSQL入门(一)数据库概述