CNN for Visual Rcognition --- Stanford 2015 (二)
来源:互联网 发布:美国知乎quora 编辑:程序博客网 时间:2024/05/20 14:16
接着上一篇的内容:
四:Transfer Learning:
1.对于数据量少或者中等的情况,迁移学习很有用
2.基于ImageNet的实验,将ImageNet的所有类的各分一半为A,B:
(1).先训练A部分,然后将前n层的参数保存好;再重新初始化后n+层的参数,用B部分训练;再将前面保存好的参数,和后面训练B部分得到的参数结合,在B的验证集上进行验证:
(2).先训练A部分,训练完A后重新初始化n+层后面的参数,再在B上进行训练,最后在B的验证集上验证:
(3).先训练B部分,固定并保存前n层的参数;再重新初始化后n+层的参数,再次在B上进行训练;最后将前面保存好的前n层参数,与重新训练B的后n+层参数结合,在B的验证集上验证:
(4).先训练B部分,再重新初始化后n+层的参数;再次在B上重新训练;最后在B的验证集上验证:
3.总结一下上面的实验结果:
4.下面应该是李飞飞老师TED演讲内容的原理:
5.处理小数据集的一些建议:
五:Squeezing out the last few percent
1.使用小size的filter比使用大size的filter的效果要好得多,小size的filter能够增加non-linearities数,并且能减少需要训练的参数(试想一个7*7的patch,用一个7*7的filter卷积,和用三层的3*3的filter卷积,得到的结果都是一个scalar)—more non-linearities and deeper gives better results:
2.也可以试试在pool上下功夫:
3.Data Augmentation:
数据集不够的话,也可以试试用下面的几种方式扩大你的数据集:
(1)Flip horizontally:可以通过旋转图片来扩大数据集,如果原图像是正方形的话则更好:
(2)多尺度切割:多尺度切割不仅能增大数据集,还能提高实现效果,一幅图切割150次都很常见:
(3)各种随机组合:
(4)Color jittering:
接着上一讲的内容
六:Beyond Image Classification
localization-overfeat :将CNN的最后的softmax层去掉,换做L2 loss,然后微调网络。预测部分,将原来的预测部分换做4-D的向量:
0 0
- CNN for Visual Rcognition --- Stanford 2015 (二)
- CNN for Visual Rcognition --- Stanford 2015 (一)
- Stanford CNN课程Convolutional Neural Networks for Visual Recognition
- 学习笔记 -- 斯坦福课程:CNN for Visual Recognition(一)
- CS231n CNN for Visual Recognition Module (1)
- CS231n CNN for Visual Recognition Module (2)
- CNN for Visual Recognition 学习笔记
- CS231n - CNN for Visual Recognition Assignment1 ---- KNN
- CS231n - CNN for Visual Recognition Assignment1 ---- SVM
- 斯坦福CS231n - CNN for Visual Recognition(2)-lecture3(上)线性分类器、损失函数
- 斯坦福CS231n - CNN for Visual Recognition(3)-lecture3(下)最优化
- 斯坦福CS231n - CNN for Visual Recognition(1)-lecture2图像分类、最近邻分类器
- 斯坦福CS231n - CNN for Visual Recognition(4)-lecture4反向传播
- 斯坦福CS231n - CNN for Visual Recognition(5)-lecture5激活函数、神经网络结构
- 斯坦福CS231n - CNN for Visual Recognition(6)-lecture5预处理、正则化、损失函数
- 斯坦福CS231n - CNN for Visual Recognition(7)-lecture6梯度检查、参数更新
- 斯坦福CS231n - CNN for Visual Recognition(8)-lecture6学习率更新、超参数调优
- CNN学习(二)
- Linux文件系统
- mysql 字段添加唯一性约束
- Magento: Recoverable Error: Argument 1 passed to Mage_Core_Model_Store :: setWebsite() must be an in
- 简历没回音17条原因,你该看看
- MySQL Study之--Percona Server版本
- CNN for Visual Rcognition --- Stanford 2015 (二)
- POJ 1088 滑雪
- SOA理解
- asp.net(c#)有关 Session 操作的几个误区
- io资源访问,及request_mem_region和ioremap的理解
- FileZilla读取目录列表失败的解决办法 ftp
- 磁盘的性能监控
- [LeetCode]Maximum Subarray
- android 简单的缓冲进度条