深度学习中的Data Augmentation方法(转)
来源:互联网 发布:ubuntu用什么聊天工具 编辑:程序博客网 时间:2024/05/24 22:46
在深度学习中,当数据量不够大时候,常常采用下面4中方法:
1. 人工增加训练集的大小. 通过平移, 翻转, 加噪声等方法从已有数据中创造出一批"新"的数据.也就是Data Augmentation
2. Regularization. 数据量比较小会导致模型过拟合, 使得训练误差很小而测试误差特别大. 通过在Loss Function 后面加上正则项可以抑制过拟合的产生. 缺点是引入了一个需要手动调整的hyper-parameter. 详见https://www.wikiwand.com/en/Regularization_(mathematics)
3. Dropout. 这也是一种正则化手段. 不过跟以上不同的是它通过随机将部分神经元的输出置零来实现. 详见 http://www.cs.toronto.edu/~hinton/absps/JMLRdropout.pdf
4. Unsupervised Pre-training. 用Auto-Encoder或者RBM的卷积形式一层一层地做无监督预训练, 最后加上分类层做有监督的Fine-Tuning. 参考http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.207.1102&rep=rep1&type=pdf
2. Regularization. 数据量比较小会导致模型过拟合, 使得训练误差很小而测试误差特别大. 通过在Loss Function 后面加上正则项可以抑制过拟合的产生. 缺点是引入了一个需要手动调整的hyper-parameter. 详见https://www.wikiwand.com/en/Regularization_(mathematics)
3. Dropout. 这也是一种正则化手段. 不过跟以上不同的是它通过随机将部分神经元的输出置零来实现. 详见 http://www.cs.toronto.edu/~hinton/absps/JMLRdropout.pdf
4. Unsupervised Pre-training. 用Auto-Encoder或者RBM的卷积形式一层一层地做无监督预训练, 最后加上分类层做有监督的Fine-Tuning. 参考http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.207.1102&rep=rep1&type=pdf
下面我们来讨论Data Augmentation:
不同的任务背景下, 我们可以通过图像的几何变换, 使用以下一种或多种组合数据增强变换来增加输入数据的量. 这里具体的方法都来自数字图像处理的内容, 相关的知识点介绍, 网上都有, 就不一一介绍了.
- 旋转 | 反射变换(Rotation/reflection): 随机旋转图像一定角度; 改变图像内容的朝向;
- 翻转变换(flip): 沿着水平或者垂直方向翻转图像;
- 缩放变换(zoom): 按照一定的比例放大或者缩小图像;
- 平移变换(shift): 在图像平面上对图像以一定方式进行平移;
可以采用随机或人为定义的方式指定平移范围和平移步长, 沿水平或竖直方向进行平移. 改变图像内容的位置; - 尺度变换(scale): 对图像按照指定的尺度因子, 进行放大或缩小; 或者参照SIFT特征提取思想, 利用指定的尺度因子对图像滤波构造尺度空间. 改变图像内容的大小或模糊程度;
- 对比度变换(contrast): 在图像的HSV颜色空间,改变饱和度S和V亮度分量,保持色调H不变. 对每个像素的S和V分量进行指数运算(指数因子在0.25到4之间), 增加光照变化;
- 噪声扰动(noise): 对图像的每个像素RGB进行随机扰动, 常用的噪声模式是椒盐噪声和高斯噪声;
- 颜色变换(color): 在训练集像素值的RGB颜色空间进行PCA, 得到RGB空间的3个主方向向量,3个特征值, p1, p2, p3, λ1, λ2, λ3. 对每幅图像的每个像素Ixy=[IRxy,IGxy,IBxy]T进行加上如下的变化:
[p1,p2,p3][α1λ1,α2λ2,α3λ3]T
其中:αi是满足均值为0,方差为0.1的随机变量.
载自 http://www.cnblogs.com/love6tao/p/5841648.html
阅读全文
0 0
- 深度学习中的Data Augmentation方法(转)基于keras
- 深度学习中的Data Augmentation方法(转)
- 深度学习中的Data Augmentation方法
- 02-深度学习中的Data Augmentation方法
- 深度学习中的Data Augmentation和代码实现
- 深度学习避免过拟合的方法---Data Augmentation
- 深度学习样本生成data augmentation
- 【转】data augmentation 数据增强方法总结
- 深度学习-Overfitting-数据增强Data Augmentation
- 图片的数据增强(Data Augmentation)方法
- 数据增强(data Augmentation)
- Data Augmentation
- data augmentation
- Data Augmentation.
- data augmentation 数据增强方法总结
- data augmentation 数据增强方法总结
- CNN Data Augmentation(数据增强)-旋转
- Data Augmentation的几种常用方法总结
- 拷贝初始化调用时机
- jQuery 新篇
- 出栈方法pop改进
- 【Effective C++】读书笔记 条款13~条款17
- 怎样分析Windows dump
- 深度学习中的Data Augmentation方法(转)
- C++ 获取可变模板参数类型
- Android与js交互(四)自定义cordova插件
- retrofit 2.3.0 接入和使用
- myeclipse创建maven项目报错问题
- BufferedReader的readLine()为非阻塞
- 几种数据库设计思想
- 快速排序
- Linux adb无法连接识别手机解决方案