【深度学习技术】LRN 局部响应归一化
来源:互联网 发布:思途cms6.0源码 编辑:程序博客网 时间:2024/06/06 19:10
LRN(Local Response Normalization) 局部响应归一化笔记
本笔记记录学习 LRN(Local Response Normalization),若有错误,欢迎批评指正,学习交流。
1.侧抑制(lateral inhibition)
2.计算公式
Hinton在2012年的Alexnet网络中给出其具体的计算公式如下:
公式看上去比较复杂,但理解起来非常简单。i表示第i个核在位置(x,y)运用激活函数ReLU后的输出,n是同一位置上临近的kernal map的数目,N是kernal的总数。参数K,n,alpha,belta都是超参数,一般设置k=2,n=5,aloha=1*e-4,beta=0.75。
3.后期争议
在2015年 Very Deep Convolutional Networks for Large-Scale Image Recognition.提到LRN基本没什么用。
在Alexnet模型中首次提出这个概念。
参考文献:
[LRN]:ImageNet Classification with Deep Convolutional Neural Networks
9 0
- 【深度学习技术】LRN 局部响应归一化
- 深度学习的局部响应归一化LRN(Local Response Normalization)理解
- tensorflow下的局部响应归一化函数tf.nn.lrn
- LRN ( Local Response Normalization) 局部响应归一化层
- LRN归一化
- 深度学习-归一化
- 深度学习: Batch Normalization (归一化)
- LRN
- caffe学习笔记(2): type: "LRN"
- caffe 学习之lrn层没有用
- 《白话深度学习与Tensorflow》学习笔记(2)梯度下降、梯度消失、参数、归一化
- theano 实现图像局部对比度归一化
- 深度学习的技术困难
- 深度学习图像视频压缩技术
- [DeeplearningAI笔记]改善深层神经网络_深度学习的实用层面1.9_归一化normalization
- 归一化之readline学习
- 机器学习-数据归一化
- 机器学习中的归一化
- UVa 725
- SQL查询效率
- EntityFramework Core解决并发详解
- MySQL config in Django
- js中回调函数的理解 举例说明js回调函数
- 【深度学习技术】LRN 局部响应归一化
- 从某标签A内的B标签,即从A标签中选择B标签($("#B")是获取整个页面中的B标签),即获取A标签的子标签B,怎么获取?
- Codevs 4919 线段树练习4
- hazu A. Little Red Riding Hood (DP)@
- 命令行编译C#程序
- 剑指offer 翻转单词顺序
- Fusion 下创建虚拟机模板
- zookeeper系列(一)背景(分布式)
- EntityFramework Core Raw SQL