深度学习中的BN层
来源:互联网 发布:java软件开发面试题 编辑:程序博客网 时间:2024/05/22 03:21
机器学习中很著名的trick,非常值得学习的一篇文献:《Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift》。看了几篇相关文章后,写这篇博客是为了自己的理解。BN(batch normalization)算法最重要的特点就是初始时加速训练速度,具有快速训练收敛的特性。
(1)你可以选择比较大的初始学习率,让你的训练速度飙涨。以前还需要慢慢调整学习率,甚至在网络训练到一半的时候,还需要想着学习率进一步调小的比例选择多少比较合适,现在我们可以采用初始很大的学习率,然后学习率的衰减速度也很大,因为这个算法收敛很快。当然这个算法即使你选择了较小的学习率,也比以前的收敛速度快,因为它具有快速训练收敛的特性;
(2)你再也不用去理会过拟合中drop out、L2正则项参数的选择问题,采用BN算法后,你可以移除这两项了参数,或者可以选择更小的L2正则约束参数了,因为BN具有提高网络泛化能力的特性;
(3)再也不需要使用使用局部响应归一化层了(局部响应归一化是Alexnet网络用到的方法,搞视觉的估计比较熟悉),因为BN本身就是一个归一化网络层;
(4)可以把训练数据彻底打乱(防止每批训练的时候,某一个样本都经常被挑选到)。
阅读全文
4 0
- 深度学习中的BN层
- 深度学习之caffe的BN层
- BN层
- bn层
- 深度学习中的数学与技巧(1):BN之利用随机前馈神经网络生成图像观察网络复杂度
- <深度学习优化策略-1>Batch Normalization(BN)
- 深度学习之基础模型-Inception-V2(BN)
- bn 层及其变种
- tensorflow: bn层
- caffe中的batchNorm层(caffe 中为什么bn层要和scale层一起使用)
- 添加BN层到deeplabV2
- 深度学习中的「卷积层」如何深入理解?
- 深度学习中的「卷积层」如何深入理解?
- caffe中bn层与scale层
- [caffe]深度学习之图像分类模型Batch Normalization[BN-inception]解读
- 深度学习Deep Learning(05):Batch Normalization(BN)批标准化
- 深度学习-用户自定义层
- 【深度学习】Inception层详解
- 一步一友,Vue初学者进阶案例
- 字节对齐
- SpringMVC 出现"The request sent by the client was syntactically incorrect ()"解决办法
- python小问题
- 二叉树前序遍历
- 深度学习中的BN层
- oracle中 decode()函数
- 京电的会议室 (环排列 水题)
- chrome各版本下载
- python练习实例14,题目:将一个正整数分解质因数。例如:输入90,打印出90=2*3*3*5。
- Redis cluster(八)-part 1
- Python导入新的包的方法
- 批量获取table 下 td 中的 input的值
- linux i2c access in kernel and user space