【论文笔记】Spatial Transformer Networks
来源:互联网 发布:七天网络注册账号入口 编辑:程序博客网 时间:2024/06/10 03:08
转自: http://blog.csdn.net/shaoxiaohu1/article/details/51809605
参考文献:**Jaderberg M, Simonyan K, Zisserman A. Spatial transformer networks[C]//Advances in Neural Information Processing Systems. 2015: 2017-2025.
摘要
卷积神经网络(CNN)已经被证明能够训练一个能力强大的分类模型,但与传统的模式识别方法类似,它也会受到数据在空间上多样性的影响。这篇Paper提出了一种叫做空间变换网络(Spatial Transform Networks, STN),该网络不需要关键点的标定,能够根据分类或者其它任务自适应地将数据进行空间变换和对齐(包括平移、缩放、旋转以及其它几何变换等)。在输入数据在空间差异较大的情况下,这个网络可以加在现有的卷积网络中,提高分类的准确性。
——————
由于我之前的工作部分涉及到人脸对齐,所以看到这篇Paper异常激动。总觉得能用它做点什么。
算法介绍
1. 算法总流程
STN 主要可以分为三个部分:1)localisation network. 2) grid generator. 3) sampler. (中文我翻译不准确,大家意会下)。localisation network用来计算空间变换的参数
1.1 Localisation Network
它的作用就是通过一个子网络(全连接或者卷积网,再加一个回归层),生成空间变换的参数
1.2 Parameterised Sampling Grid
假设
当然,
1.3 Differentiable Image Sampling
在计算得到
在求得
而
通过以上3个部分的结合,便形成了完整的 STN。
2. 算法分析
STN 计算较快,几乎没有增加原有网络模型的训练时间。由于它能够在训练过程中,学习到与任务相关的空间变换参数,因此能够进一步最小化网络的损失函数。STN 不只可以用在输入的图像层,也可以加入卷积层或者其它层之后。
3. 实验结果
这篇文章分别在手写文字识别、街景数字识别、鸟类分类以及共定位等方面做了实验, 这里我只列出比较有代表性的手写文字实验部分。
实验数据为MNIST,分别在经过不同处理(包括 旋转(R)、旋转、缩放、平移(RTS),透射变换(P)),弹性变形(E))的数据上进行字符识别的实验。Baseline分别使用了两种网络结构FCN , CNN, 加入了 STN 的网络为 ST-FCN, ST-CNN。其中,STN 采用了以下几种变换方法:仿射变换(Aff )、透射变换(Proj )、以及薄板样条变换(TPS )。下表列出了 STN 与 baseline 在MNIST上的比较结果,表中数据为识别错误率:
可以看出,对不同的形式的数据,加入了STN 的网络均优于 baseline 的结果。以下为 STN 对数字图像进行变换后的结果,其中a列为原始数据,b列为变换参数的示意图,c列为最终变换后的结果:
总结
STN 能够在没有标注关键点的情况下,根据任务自己学习图片或特征的空间变换参数,将输入图片或者学习的特征在空间上进行对齐,从而减少物体由于空间中的旋转、平移、尺度、扭曲等几何变换对分类、定位等任务的影响。加入到已有的CNN或者FCN网络,能够提升网络的学习能力。
- 【论文笔记】Spatial Transformer Networks
- 【论文笔记】Spatial Transformer Networks
- Spatial Transformer Networks 论文笔记
- 论文阅读《Spatial Transformer Networks》
- [深度学习论文笔记][Attention] Spatial Transformer Networks
- 论文笔记:Spatial Transformer Networks(空间变换网络)
- 论文笔记:Spatial Transformer Networks(空间变换网络)
- [深度学习论文笔记][CVPR 17 oral] Inverse Compositional Spatial Transformer Networks
- 论文笔记:Spatial Transformer Networks中的仿射变换和双线性插值
- 论文笔记:Spatial Transformer Networks中的仿射变换和双线性插值
- Spatial Transformer Networks
- Spatial Transformer Networks
- Spatial Transformer Networks
- Spatial Transformer Networks
- 论文阅读《Spatial Transformer Network》
- Spatial Transformer Networks(空间变换神经网络)
- 空间映射网络--Spatial Transformer Networks
- STN系列之Spatial Transformer Networks
- SQL Server 2008中的代码安全(一):存储过程加密与安全上下文
- 顺序表基本操作样例
- 在Spring中配置jdbcTemplate
- 如何复制或导出托管磁盘
- 线程安全与非线程安全
- 【论文笔记】Spatial Transformer Networks
- 【LoadingDialog】标准款待加载对话框
- 02繁花嗅Django笔记
- java开发微信项目总结(二) 如何获取微信的OpenId
- js nan===nan
- 基于深度学习的目标检测技术演进:R-CNN、Fast R-CNN、Faster R-CNN
- 关于java位运算符&,~,^,|,<<,>>的整理(包含二进制与十进制的转换)
- Hibernate_实体类_注解_大全
- 欢迎使用CSDN-markdown编辑器