4用于cifar10的卷积神经网络-4.24Tensorflow中LRN层的工作原理以及添加方法
来源:互联网 发布:openstack的网络架构 编辑:程序博客网 时间:2024/05/29 13:31
LRN(Local Response Normalize Layer) 局部响应归一化层
LRN最早见于Alex的那篇用CNN参加ImageNet比赛的论文,Alex在论文中解释了LRN层模仿了生物神经系统的“侧抑制”机制,对局部神经元的活动创建竞争环境,使得其中响应比较大的值变得相对更大,并抑制其他反馈较小的神经元,增强了模型的泛华能力。Alex在ImageNet数据集上的实验表明,使用LRN后CNN在Top1的错误率将降低1.4%,因此在后来的AlexNet中也加入了LRN层。
这种正则手段的有效性一直不太确定,查阅了很多蚊香似乎也没有详细的解释,由于后来提出的batch normalization手段太过火热,渐渐的就把local response normalization放弃了
《ImageNet classification with deep convolutional neural networks》
http://www.cs.virginia.edu/~vicente/recognition/slides/lecture07/nips2012.pdf
acm=1511834431_1e1c2f81136d0d4a90e65c02b513783e”>http://delivery.acm.org/10.1145/3070000/3065386/p84-krizhevsky.pdf?ip=122.224.227.20&id=3065386&acc=OA&key=4D4702B0C3E38B35%2E4D4702B0C3E38B35%2E4D4702B0C3E38B35%2E5945DC2EABF3343C&CFID=1010824941&CFTOKEN=60661293&acm=1511834431_1e1c2f81136d0d4a90e65c02b513783e
以上这种归一手段的公式,其中a的上标指该层的第几个feature map,a的下标x,y表示feature map的像素位置,N指feature map的总数量,公式里的其他参数都是超参,需要自己指定的。
Args: input: A `Tensor`. Must be one of the following types: `float32`, `half`. 4-D. depth_radius: An optional `int`. Defaults to `5`. 0-D. Half-width of the 1-D normalization window. bias: An optional `float`. Defaults to `1`. An offset (usually positive to avoid dividing by 0). alpha: An optional `float`. Defaults to `1`. A scale factor, usually positive. beta: An optional `float`. Defaults to `0.5`. An exponent. name: A name for the operation (optional).第一个参数input:这个输入就是feature map了,既然是feature map,那么它就具有[batch,height,width,channels]这样的shape第二个参数depth_radius:这个值需要自己指定,就是上述公式中的n/2第三个参数bias:公式中的k第四个参数alpha:公式中的α第五个参数beta:公式中的β返回值是新的feature map,它应该具有和原feature map相同的shape
- 4用于cifar10的卷积神经网络-4.24Tensorflow中LRN层的工作原理以及添加方法
- 4用于cifar10的卷积神经网络-4.22为计算图中的非线性全连接层的权重添加L2损失
- 4用于cifar10的卷积神经网络-4.1用于cifar10的卷积神经网络结构设计
- 4用于cifar10的卷积神经网络-4.25/4.26Tensorflow中的四种学习率衰减方法(上/下)
- 4用于cifar10的卷积神经网络-4.7TensorFlow的汇总类Summary和FileWriter用法
- 4用于cifar10的卷积神经网络-4.8/4.9为cifar10卷积网络添加汇总操作上/下
- 4用于cifar10的卷积神经网络-4.2/4.3cifar10卷积神经网络的计算图设计(上下)
- 4用于cifar10的卷积神经网络-4.17cifar10卷积网络在不同激活函数下的性能分析
- 4用于cifar10的卷积神经网络-4.6设计模型训练和评估的会话流程
- 4用于cifar10的卷积神经网络-4.11优化器GradientDescenOptimizer的汇总结果分析
- 4用于cifar10的卷积神经网络-4.12优化器MomentumOptimizer的汇总结果分析
- 4用于cifar10的卷积神经网络-4.13优化器FtrlOptimizer的汇总结果分析
- 4用于cifar10的卷积神经网络-4.14优化器AdagradOptimizer的汇总结果分析
- 4用于cifar10的卷积神经网络-4.15优化器RMSProbOptimizer的汇总结果分析
- 4用于cifar10的卷积神经网络-4.16优化器AdamOptimizer的汇总结果分析
- 4用于cifar10的卷积神经网络-4.18sigmoid激活函数的输出汇总分析
- 4用于cifar10的卷积神经网络-4.19tanh和softsign激活函数的输出汇总分析
- 4用于cifar10的卷积神经网络-4.21elu激活函数的输出汇总分析
- winexec()函数
- Problem O 谁是最好的Coder
- Keras学习笔记一:常用层keras.layers.core部分函数
- Android:RxJava 结合 Retrofit 全面实现 网络请求出错重连
- 信息表示的最优进制是什么
- 4用于cifar10的卷积神经网络-4.24Tensorflow中LRN层的工作原理以及添加方法
- 初识Docker
- HTML表单提交-Input的size和maxlength
- C++ 中的friend 函数的解释
- 增强for循环的理解与使用。
- BAT面试题汇总(精华版)
- JAVA泛型与通配符详解
- IT忍者神龟之Redis操作工具类封装
- eclipse常用快捷键