caffe源码 全连接层
来源:互联网 发布:node v4.6.0 x64.msi 编辑:程序博客网 时间:2024/06/05 10:55
图示全连接层
- 如上图所示,该全链接层输入n * 4,输出为n * 2,n为batch
- 该层有两个参数W和B,W为系数,B为偏置项
- 该层的函数为F(x) = W*x + B,则W为4 * 2的矩阵,B 为 1 * 2 的矩阵
从公式理解全连接层
假设第N层为全连接层,输入为Xn,输出为Xn+1,其他与该层无关的信息可以忽略
- 该层公式有Xn+1 = Fn(Xn) = W * Xn + B
前向传播
- 已知Xn,Xn+1 = W * Xn + B, 为前向传播
反向传播
反响传播这里需要求两个梯度,loss 对 W的梯度 和 loss 对 B 的梯度,
- loss 对 W 的梯度
- 具体公式如下:
- loss 对 B 的梯度
- 具体公式如下:
- 上面两个梯度都用到了loss 对 该层输出的梯度,所以在这层应该把loss 对该层输入的梯度传递到上一层。
- 具体公式如下:
caffe中innerproduct的代码
前向传播
这一步在代码里面分为两步:
- Xn+1 = W * Xn,如下图:
- Xn+1 = Xn+1 + B,如下图:
- 和上面推导的一样
反向传播
这里需要求三个梯度,loss 对 W的梯度 ,loss 对 B的梯度, loss 对 Xn的梯度
- loss 对 W 的梯度
- 公式:
- 代码:
- 以上公式和推导的公式有点区别,后面加多loss 对W 的梯度,实现的是累积梯度
- loss 对 B 的梯度
- 公式:
- 代码:
- 以上公式和推导的公式有点区别,后面加多loss 对B 的梯度,实现的是累积梯度
- loss 对 Xn 的梯度,:
- 公式:
- 代码:
- 公式和推导的并无区别
阅读全文
0 0
- caffe源码 全连接层
- Caffe源码阅读(1) 全连接层
- Caffe源码阅读(1) 全连接层
- caffe全连接层(INNER_PRODUCT)源码注释与分析
- Caffe框架源码剖析(7)—全连接层InnerProductLayer
- Caffe框架源码剖析(7)—全连接层InnerProductLayer
- caffe之(四)全连接层
- caffe全连接层原理解读
- Caffe 代码解读之全连接层 inner product layer
- Caffe 代码解读之全连接层concat layer
- DL学习笔记【9】caffe参数调节-全连接层
- caffe学习笔记31-理解全连接层
- caffe基础-05全连接层的配置
- caffe 全链接层
- caffe源码 卷积层
- Caffa 源码学习系列一----全连接层
- 全连接层解析(二)——源码解析
- 全连接层解析——源码解析
- 我用过的计算机
- SpringBoot学习(四)——WEB开发
- linux操作系统
- Hive DDL & 内部表与外部表
- caffe源码 链式法则
- caffe源码 全连接层
- caffe源码 卷积层
- hdu5877 Weak Pair(离散化+线段树+dfs)
- 上帝是个程序猿
- 如何将电脑的无线网通过有线分享给其他设备
- Dos帮助文档
- C++PRIMER第5版第二章自做
- PostgreSQL入门(一)数据库概述
- PostgreSQL入门(二)PostgreSQL数据库,数据表