CNN for Visual Rcognition --- Stanford 2015 (一)
来源:互联网 发布:网络推广发帖技巧 编辑:程序博客网 时间:2024/05/09 10:43
总结斯坦福2015李飞飞教授以及Andrej Karpathy教授的上课的slides中关于CNN的一些内容
一:神经网络实验的基本策略:
1.对输入数据进行预处理:
2.网络结构和数据集设置:
(1)-随机初始化weights为一些比较小的数(fan-in,fan-out),bias设置为0
(2)-利用好cv集,可以在少量epoch的结果下选择最好的params,然后进行更多的epoch
3.分析实验结果:
(1)-对 loss curve 进行分析:
(2)-对accuracy 进行分析:
(3)-对weight updates / weight的比值进行分析:
(4)-可视化隐含层单元:
(5)-dropout(Regularization)的使用:
随机的将一些 neuron设置为0,在使用的时候注意train的时候和predict的时候的区别(train的时候进行drop,predict的时候不进行drop):
(6)-学习率等相关设置:
一般用写好的库就行了,如adagrad等等
二:卷积网络ConVNet:
1.activations:
ConVNet中的activations是一个三维的立方体,例如:对于一个32*32*3的RGB图片,对应的activation的规格就是32widt*32height*3depth
2.local connectivity 局部连接:
(1)-局部连接是ConVNet一个很重要的思想,使用局部连接,减少了卷积层需要训练的params:
(2)-举个栗子:
(3)-术语上:fenture map个数=filter个数
3.padding:
增加nolinearities的数量,同时也可以保持map的大小:
4.pooling:
一般是2*2的maxpool:
5.ConVNet的设置:
三:Visualizing and Understanding ConVNet:
1.t-SNE visualization:
下图是mnist数据集通过ConVNet后压缩成二维向量后的点图:
2.将最后的pooling层的特征,重构成图片:
3.将中间层的特征,重构成图片:
4.对于不可识别的图片,ConVNet有时竟然会有很高的置信度:
5.depth is important:
改变FC层的大小,对结果并没有多大的提升;而通过改变卷积层depth的大小(其实就是filter的数量),则对结果有较大的影响,并且:more depth = better improvement。
normalization对结果也没有很大的影响
0 0
- CNN for Visual Rcognition --- Stanford 2015 (一)
- CNN for Visual Rcognition --- Stanford 2015 (二)
- Stanford CNN课程Convolutional Neural Networks for Visual Recognition
- 学习笔记 -- 斯坦福课程:CNN for Visual Recognition(一)
- CS231n CNN for Visual Recognition Module (1)
- CS231n CNN for Visual Recognition Module (2)
- CNN for Visual Recognition 学习笔记
- CS231n - CNN for Visual Recognition Assignment1 ---- KNN
- CS231n - CNN for Visual Recognition Assignment1 ---- SVM
- 斯坦福CS231n - CNN for Visual Recognition(2)-lecture3(上)线性分类器、损失函数
- 斯坦福CS231n - CNN for Visual Recognition(3)-lecture3(下)最优化
- 斯坦福CS231n - CNN for Visual Recognition(1)-lecture2图像分类、最近邻分类器
- 斯坦福CS231n - CNN for Visual Recognition(4)-lecture4反向传播
- 斯坦福CS231n - CNN for Visual Recognition(5)-lecture5激活函数、神经网络结构
- 斯坦福CS231n - CNN for Visual Recognition(6)-lecture5预处理、正则化、损失函数
- 斯坦福CS231n - CNN for Visual Recognition(7)-lecture6梯度检查、参数更新
- 斯坦福CS231n - CNN for Visual Recognition(8)-lecture6学习率更新、超参数调优
- CNN学习(一)
- 越过夏秋念春冬
- NOI2004郁闷的出纳员题解
- Apache 2.2.10+Apusic 5.1负载均衡应用实践
- 【卜子英教授】北京东方京城中医院电话
- UILabel
- CNN for Visual Rcognition --- Stanford 2015 (一)
- HDU - 1022 - Train Problem I(栈)
- 【卜子英教授】北京东方京城中医院在哪里
- 达内学习日志Day04(续):循环结构的案例
- php框架laravel学习 一 (环境搭建)
- 【卜子英教授】北京东方京城中医院怎么走
- 非Windows平台的一个简单的开源的Rust IDE:SolidOak
- Java中的参数传递方式
- java实现字符串逆转