论文笔记:Spatial Transformer Networks(空间变换网络)
来源:互联网 发布:大芒果数据库密码 编辑:程序博客网 时间:2024/06/05 16:21
上一篇博客 Spatial Transformer Networks论文笔记(一)——仿射变换和双线性插值介绍了仿射变换和双线性插值,为更好地理解STN打基础。本篇博客是记录的是阅读原文Spatial Transformer Networks的一些笔记。
摘要
卷积神经网络(CNN)定义了一个非常强大的分类模型,但仍然受限于缺乏在计算和参数效率上对输入数据空间不变性的能力。本文我们引入一种欣的学习模块Spatial transformer(ST),它让网络明确地利用了数据的空间信息。这种可导的模块可以插入到现有的卷积结构中,赋予网络在不需要额外训练监督或者修改优化过程的情况下,基于特征图本身进行空间变换的能力。我们展示了空间变换网络的利用让模型学习了对平移、尺度变换、旋转和更多常见的扭曲的不变性,这也使得模型在一些基准数据集和变换分类上效果最好。
Spatial Transformers
ST的结构如上图,它分成三部分,分别为Localisation Net, Grid Generator和Sampler,它完成的是一个将输入特征图进行一定的变换的过程,而具体如何变换,是通过在训练过程中学习来的,更通俗地将,该模块在训练阶段学习如何对输入数据进行变换更有益于模型的分类,然后在测试阶段应用已经训练好的网络对输入数据进行执行相应的变换,从而提高模型的识别率。下面具体介绍ST的三个部分。
Localisation Network
Localisation Network的输入是特征图
Grid Generator
该层利用Localisation 层输出的变换参数
但此时往往
Sampler
在进过上面两个部分后,输出特征图和输入特征图上所有像素点灰度值就可以建立具体的联系,具体表示成如下公式:
上式中,
与公式(3)不同的是,(5)中定义的双线性插值使得目标灰度值只与
另外很重要的一点是,公式(5)对
总结
本文主要是简单记录了STN的基本结构和原理,论文中还有很多细节(比如关于空间不变性的一些其他研究和具体的实验),这里就不再细说了,有兴趣的同学可以看论文。还有,在查阅这一块的资料时,看到贴吧里有一些关于STN的讨论,有兴趣的戳这里百度贴吧关于STN的讨论
参考文献
Spatial Transformer Networks
- 论文笔记:Spatial Transformer Networks(空间变换网络)
- 论文笔记:Spatial Transformer Networks(空间变换网络)
- 【论文笔记】Spatial Transformer Networks
- 【论文笔记】Spatial Transformer Networks
- Spatial Transformer Networks 论文笔记
- Spatial Transformer Networks(空间变换神经网络)
- Spatial Transformer Networks(空间变换神经网络)
- 空间映射网络--Spatial Transformer Networks
- 空间映射网络--Spatial Transformer Networks
- 论文笔记:Spatial Transformer Networks中的仿射变换和双线性插值
- 论文笔记:Spatial Transformer Networks中的仿射变换和双线性插值
- 论文阅读《Spatial Transformer Networks》
- [深度学习论文笔记][Attention] Spatial Transformer Networks
- [深度学习论文笔记][CVPR 17 oral] Inverse Compositional Spatial Transformer Networks
- Spatial Transformer Networks
- Spatial Transformer Networks
- Spatial Transformer Networks
- Spatial Transformer Networks
- Java集合——set总结
- Section 2.1 hamming
- Ubuntu 16.04 GTX1060 无法进入图形界面
- Unity3D学习记录——API实例化与销毁2
- Unity自定义UI组件(十) 折线图
- 论文笔记:Spatial Transformer Networks(空间变换网络)
- mysql基础
- 【机器学习杂货铺】——模型评估(暂缺)
- Win32线程劫持-Suspend-Inject-Resume
- PHP MongoDB Driver
- elasticsearch5.4.1安装配置
- 填充模式:PKCS#5/PKCS7
- linux基础命令(增删改查)
- POJ2195: Going Home 题解