Caffe 中 BN(BatchNorm ) 层的参数均值、方差和滑动系数解读
来源:互联网 发布:js怎么调用类库 编辑:程序博客网 时间:2024/05/30 05:05
Caffe 中 BN(BatchNorm ) 层的参数均值、方差和滑动系数解读
Caffe 的 BN(BatchNorm ) 层共有三个参数参数:均值、方差和滑动系数,BN层结构如下:
layer {
- bottom: "res2a_branch2b"
- top: "res2a_branch2b"
- name: "bn2a_branch2b"
- type: "BatchNorm"
- batch_norm_param {
- use_global_stats: false //训练阶段和测试阶段不同,
- }
- include: { phase: TRAIN }
- }
- layer {
- bottom: "res2a_branch2b"
- top: "res2a_branch2b"
- name: "bn2a_branch2b"
- type: "BatchNorm"
- batch_norm_param {
- use_global_stats: true
- }
- include: { phase: TEST }
- }
- use_global_stats:如果为真,则使用保存的均值和方差,否则采用滑动平均计算新的均值和方差。该参数缺省的时候,如果
是测试阶段则等价为真,如果是训练阶段则等价为假。
- moving_average_fraction:滑动平均的衰减系数,默认为0.999
- eps:分母附加值,防止除以方差时出现除0操作,默认为1e-5(不同框架采用的默认值不一样),
在Caffe中使用Batch Normalization需要注意以下两点:
1. 要配合Scale层一起使用,具体参见http://blog.csdn.NET/sunbaigui/article/details/50807398以及Residual Network
2. 训练的时候,将BN层的use_global_stats设置为false,然后测试的时候将use_global_stats设置为true,不然训练的时候会报“NAN”或者模型不收敛。
—————————— 可选参数 ——————————
可选参数定义在 src\caffe\proto\caffe.proto 中,共有3个:
message BatchNormParameter { // 如果为真,则使用保存的均值和方差,否则采用滑动平均计算新的均值和方差。 // 该参数缺省的时候,如果是测试阶段则等价为真,如果是训练阶段则等价为假。 optional bool use_global_stats = 1; // 滑动平均的衰减系数,默认为0.999 optional float moving_average_fraction = 2 [default = .999]; // 分母附加值,防止除以方差时出现除0操作,默认为1e-5 optional float eps = 3 [default = 1e-5];}
—————————— 前向传播 ——————————
说前向传播之前,先注意几点:
(1)均值和方差的个数:
// 如果bottom是1维的,则均值和方差个数为1,否则等于通道数 if (bottom[0]->num_axes() == 1) channels_ = 1; else channels_ = bottom[0]->shape(1);
- 1
(2)均值和方差的更新:
均值和方差采用的是滑动平均的更新方式。因此,BN层共存储了3个数值:均值滑动和、方差滑动和、滑动系数和。
计算公式如下:
设滑动系数 moving_average_fraction 为
snew=λsold+1 ;
μnew=λμold+μ ;
对于方差,采用的是无偏估计,
σnew=λσold+mσif(m>1),m=(m−1)/m ;
(3)均值和方差的使用:
caffe到目前仍然没有实现和论文原文保持一致的BN层,即没有
x=x−μσ ;
但是需要注意的是,我们存储的是均值和方差的滑动和,因此还要做一些处理。
还是设存储的三个数值(均值滑动和、方差滑动和、滑动系数和)分别为
首先要计算一个缩放系数
μ=s∗μold ;
方差的计算还是要稍微复杂一点:
σ=s∗σold ;
- σ=(σ+eps)0.5
- Caffe 中 BN(BatchNorm ) 层的参数均值、方差和滑动系数解读
- Caffe 中 BN(BatchNorm ) 层的参数均值、方差和滑动系数解读
- caffe中的batchNorm层(caffe 中为什么bn层要和scale层一起使用)
- caffe层解读系列——BatchNorm
- caffe中bn层与scale层
- caffe中的batchNorm层
- caffe中的batchNorm层
- caffe中BatchNorm层和Scale层实现批量归一化(batch-normalization)注意事项
- 深度学习之caffe的BN层
- caffe常用层:batchNorm使用
- BatchNorm层训练和测试的注意事项
- tensorflow: bn层 的 decay参数项
- 数字信号处理中均值、方差、均方值、均方差计算和它们的物理意义
- caffe 中 BatchNorm layer设定
- bn层中训练和测试改写
- caffe学习笔记20-BatchNorm层分析
- MATLAB中均值、方差、均方差的计算方法
- MATLAB中均值、方差、均方差的计算方法
- bzoj 2286: [Sdoi2011]消耗战
- javaEE之request&response
- IntelliJ IDEA 部署Tomcat及创建一个web工程
- java项目打包成exe
- Android——UI篇:android省市区三级联动控件的使用
- Caffe 中 BN(BatchNorm ) 层的参数均值、方差和滑动系数解读
- 索引
- AngularJS 第四课(选择框,HTML DOM,HTML 事件)
- CodeFroces 831C. Jury Marks(STL的应用)
- 面试题:正则表达式匹配
- BuildAssetBundle 参数 BuildAssetBundleOptions 的几种类型
- svn checkout和export的区别及应用场景
- 物联网原理与技术
- Sybase BCP使用简单命令