随机采样池化--S3Pool: Pooling with Stochastic Spatial Sampling
来源:互联网 发布:铁血联盟 1.13武器数据 编辑:程序博客网 时间:2024/06/05 11:35
S3Pool: Pooling with Stochastic Spatial Sampling
CVPR2017
https://github.com/Shuangfei/s3pool
本文将常规池化看作两个步骤:
1)以步长为1在特征图上滑动池化窗口,尺寸大小基本保持不变, leaves the spatial resolution intact
2)以一种 uniform 和 deterministic 的方式进行降采样
我们认为这种 uniform 和 deterministic 的降采样方式 对于学习来说不是最优的( which aims for generalization to unseen examples ),对此我们提出一种随机采样方式,这种随机采样 像一个 strong regularizer,可以被看作 implicit data augmentation by introducing distortions in the feature maps
Stochastic pooling 可以看作在一个池化窗口内 对特征图数值进行归一化, 按照特征图归一化后的 概率值大小随机采样选择,即元素值大的被选中的概率也大
g being a hyperparameter named grid size
通过改变 grid size g 来控制 distortion/stochasticity
测试用的网络结构
NIN on CIFAR-10 and CIFAR-100
ResNet on CIFAR-10 and CIFAR-100
Effect of grid size
通过增加grid size 尺寸,训练误差变大,对应更多的随机性。测试误差先降低( stronger regularization),后来升高(当训练误差太高时)。
This observation suggests a trade-off between the optimization feasibility and the generalization ability, which can be adjusted in different applications by setting the grid sizes of each S3Pool layer
Results on STL-10
训练样本数量和测试误差的关系
- 随机采样池化--S3Pool: Pooling with Stochastic Spatial Sampling
- MATLAB遗传算法之 无放回式随机余数选择算子(remainder stochastic sampling with replacement)最新版
- 随机采样和随机模拟:吉布斯采样Gibbs Sampling
- 3. 空金字塔池化(Spatial Pyramid Pooling)
- SPP空间金字塔池化(Spatial Pyramid Pooling)
- Stochastic Pooling简单理解
- 随机模拟的基本思想和常用采样方法(sampling)
- 随机采样方法整理(MCMC、Gibbs Sampling等)
- 随机采样和随机模拟:吉布斯采样Gibbs Sampling实现文档分类
- 随机采样和随机模拟:吉布斯采样Gibbs Sampling实现高斯分布参数推断
- 池化总结(OverlappingPooling、 一般池化、Spatial Pyramid Pooling)
- Spatial pyramid pooling (SPP)-net (空间金字塔池化)笔记
- 空间金字塔池化 Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition
- Spatial pyramid pooling (SPP)-net (空间金字塔池化)笔记
- Spatial pyramid pooling (SPP)-net (空间金字塔池化)笔记
- Spatial Pyramid Pooling
- Gibbs sampling [Gibbs采样]
- Gibbs sampling [Gibbs采样]
- 刷题——Wireless Network POJ
- line-height 和 max-height 的配合作用
- 递推求逆元,求组合数
- Oracle中rank() over, dense_rank(), row_number() 的区别
- 最常见的二维码功能
- 随机采样池化--S3Pool: Pooling with Stochastic Spatial Sampling
- EF Core的安装、EF Core与数据库结合
- Python函数式编程—map()、reduce()
- php站内搜索
- QGIS导出图片清晰度设置
- greendao3出现 Error:Execution failed for task ':app:greendao'.
- 关于哈希表的使用和特点
- kafka提供的broker配置server.properties
- 模拟信号采样与AD转换