Andrew-Coursera-DL课程-笔记part2-3(Hyperparameter tuning,Batch Normalization)
来源:互联网 发布:销售主管如何分析数据 编辑:程序博客网 时间:2024/06/03 16:27
Hyperparameter tuning
- Tuning process
超参的选择顺序,红,黄,紫 - Using an appropriate scale to pick hyperparameters
关于超参的选择,如果平均选择0-1之间,那么90%会选择0.1–1之间,10%会选择0-0.1之间,这不是我们想要的。 我们需要在[10^-5,10^-4,10^-3,10^-2,0.1,1]这个数量级范围内进行选择。
r=np.random.rand()%0.001*10000beta = 10**(-r)
- Hyperparameters tuning in practice: Pandas vs Caviar
Batch Normalization
Normalizing activations in a network
对输入进行标准化处理,除了对input进行标准化处理外,中间每一层的z值也需要进行标准化处理,在激活函数之前标准化出来还是在激活函数之后进行处理一直存在争议,Andrew建议在activation之前进行。Fitting Batch Norm into a neural network
在tf中可以直接使用tf.nn.batch_norm_with_global_normalization(t, m, v, beta, gamma, variance_epsilon, scale_after_normalization, name=None)- Why does Batch Norm work?
对输入进行标准化处理,除了对input进行标准化处理外,中间每一层的z值也需要进行标准化处理,在激活函数之前标准化出来还是在激活函数之后进行处理一直存在争议,Andrew建议在activation之前进行。为什么中间层也需要进行标准化处理,见下图
因为中间层也是输入层,不仅是前面层的output,同样是后面层的input。
批量标准化有一定的正则化效果 - Batch Norm at test time
在训练过程中,我们每次都会将 batch_size 数目大小的训练样本 放入到CNN网络中进行训练,在BN层中自然可以得到计算输出所需要的 均值 和 方差 ;
而在测试过程中,我们往往只会向CNN网络中输入一个测试样本,这是在BN层计算的均值和方差会均为 0,因为只有一个样本输入,因此BN层的输入也会出现很大的问题,从而导致CNN网络输出的错误。所以在测试过程中,我们需要借助训练集中所有样本在BN层归一化时每个维度上的均值和方差,当然为了计算方便,我们可以在 batch_num 次训练过程中,将每一次在BN层归一化时每个维度上的均值和方差进行相加,最后再进行求一次均值即可。
Multi-class classification
- Softmax Regression
- Training a softmax classifier
Introduction to programming frameworks
- Deep learning frameworks
- TensorFlow
阅读全文
0 0
- Andrew-Coursera-DL课程-笔记part2-3(Hyperparameter tuning,Batch Normalization)
- Coursera deeplearning.ai 深度学习笔记2-3-Hyperparameter tuning, Batch Normalization and Programming Framew
- Andrew-Coursera-DL课程-笔记part2-2(Optimization algorithms)
- Coursera deeplearning.ai 深度学习习题2-3-Hyperparameter tuning, Batch Normalization, Programming Frameworks
- Andrew-Coursera-DL课程-笔记part2-1(Practical aspects of Deep Learning)
- 深度神经网络优化(三)- Hyperparameter tuning, Batch Normalization
- Andrew Ng's deeplearning Course2Week3 Hyperparameter tuning, Batch Normalization and Frameworks
- Coursera吴恩达 Deep Learning第二课第三周测验题Hyperparameter tuning, Batch Normalization, Programming Frameworks
- Andrew-Coursera-DL课程-笔记part1-3(Deep neural networks)
- Andrew-Coursera-DL课程-笔记part1-1(Neural Networks Basics)
- Andrew-Coursera-DL课程-笔记part1-2(Shallow neural networks)
- CS231n课程笔记5.3:Batch Normalization
- CS231n课程笔记5.3:Batch Normalization
- BN(batch Normalization)笔记
- 吴恩达Coursera深度学习课程 DeepLearning.ai 提炼笔记(2-3)-- 超参数调试 和 Batch Norm
- Coursera吴恩达《优化深度神经网络》课程笔记(3)-- 超参数调试、Batch正则化和编程框架
- 吴恩达Coursera深度学习课程 DeepLearning.ai 提炼笔记(2-3)-- 超参数调试 和 Batch Norm
- Batch Normalization 学习笔记(一))
- 刷OJ的一些小技巧
- 牛客笔试:不要二
- 关于消息队列的技术
- git实际使用小结
- 21.leetCode669: Trim a Binary Search Tree
- Andrew-Coursera-DL课程-笔记part2-3(Hyperparameter tuning,Batch Normalization)
- BufferedReader的read()和readLine()区别
- HYSBZ4066-简单题
- git常用命令
- Error:(22, 13) Failed to resolve: com.android.support:appcompat-v7:14.+ <a href="install.m2.repo">In
- 什么叫做中间件
- getchar和scanf
- java事件监听器原理
- 内部类and调用静态or非静态内部类