神经网络优化算法之不一样的梯度下降
来源:互联网 发布:阿里云域名访问网站 编辑:程序博客网 时间:2024/05/05 21:49
在上一篇文章中,我们介绍了正则化的作用以及方法,有效的应对“过拟合”问题。今天我们又将提出另一优化算法——Mini-batch。
1. 什么是Mini-batch
前面我们提到,为了加快训练速度我们常采用向量化的手段来一次性训练所有的训练集,但是当训练集非常大时,这一过程是缓慢的。因此提出了Mini-batch的概念——将整个训练集划分成若干个小的训练集来依次训练。我们常用mini_batch_size来表示每个子训练集的大小,当mini_batch_size=m(m为整个训练集的大小)时,mini-batch梯度下降就是我们之前的batch梯度下降; 当mini_batch_size=1时,也就是每次只训练一个样本,我们称之为“随机梯度下降”。随机梯度下降和batch梯度下降是mini-batch梯度下降的两个极端:batch梯度下降训练过程缓慢,而随机梯度下降没有发挥向量化的优势。因此,在实际应用中我们常取这两者的中间值(一般为2^i的形式,如64、128、256、512)。
2. 如何实现Mini-batch
一般Mini-batch包含两个步骤:
- 数据洗牌:随机调整每个样本的位置,这一步骤确保将训练集分成不同的小批次。
- 划分:根据设置的mini_batch_size将训练集划分成若干个小批次
下面给出python代码:
# GRADED FUNCTION: random_mini_batchesdef random_mini_batches(X, Y, mini_batch_size = 64, seed = 0): """ Creates a list of random minibatches from (X, Y) Arguments: X -- input data, of shape (input size, number of examples) Y -- true "label" vector (1 for blue dot / 0 for red dot), of shape (1, number of examples) mini_batch_size -- size of the mini-batches, integer Returns: mini_batches -- list of synchronous (mini_batch_X, mini_batch_Y) """ np.random.seed(seed) # To make your "random" minibatches the same as ours m = X.shape[1] # number of training examples mini_batches = [] # Step 1: Shuffle (X, Y) permutation = list(np.random.permutation(m)) shuffled_X = X[:, permutation] #这个部分需要注意学习一下 shuffled_Y = Y[:, permutation].reshape((1,m)) # Step 2: Partition (shuffled_X, shuffled_Y). Minus the end case. num_complete_minibatches = int(math.floor(m/mini_batch_size)) # number of mini batches of size mini_batch_size in your partitionning for k in range(0, num_complete_minibatches): ### START CODE HERE ### (approx. 2 lines) mini_batch_X = shuffled_X[:, k * mini_batch_size : (k+1) * mini_batch_size] mini_batch_Y = shuffled_Y[:, k * mini_batch_size : (k+1) * mini_batch_size] ### END CODE HERE ### mini_batch = (mini_batch_X, mini_batch_Y) mini_batches.append(mini_batch) # Handling the end case (last mini-batch < mini_batch_size) if m % mini_batch_size != 0: ### START CODE HERE ### (approx. 2 lines) mini_batch_X = shuffled_X[:, mini_batch_size * num_complete_minibatches : m] mini_batch_Y = shuffled_Y[:, mini_batch_size * num_complete_minibatches : m] ### END CODE HERE ### mini_batch = (mini_batch_X, mini_batch_Y) mini_batches.append(mini_batch) return mini_batches
3. Mini-batch带来的问题及解决办法
由于mini-batch梯度下降只看到一个子集的例子就进行参数更新,因此更新的方向有一定的变化,所以mini-batch梯度下降将会“振荡”收敛,如下图所示。
下面将介绍可以减少这些振荡的三种方法:Momentum、RMSprop、Adam。
3.1 Momentum
Momentum采用以下公式进行参数更新:
与之前不同的是引入了“指数加权平均”的概念。Momentum考虑了参数过去的渐变情况来进行平滑更新:首先把以前渐变的“方向”存储在变量v(形式上,v将是前面步骤中梯度的指数加权平均值)中,然后与当前参数变化方向加权平均。
3.2 RMSprop
RMSprop(Root Mean Square prop)的原理类似,其表现形式如下:
3.3 Adam
Adam将Momentum和RMSprop结合起来,其表现形式为:
这里,还对指数加权平均进行了偏差修正。添加的ε也是为了避免分母太小引起的数值不稳定问题,一般取值10^-8。
4. 小结
对于解决梯度下降“振荡”收敛问题,Momentum通常是有效的。但对于有些mini-batch,依然很难优化。而Adam 可以更好的解决振荡收敛。对于简单数据集而言,进行多次迭代训练,这三种方法都会带来非常好的结果。其中Adam收敛地更快。
- 神经网络优化算法之不一样的梯度下降
- 神经网络入门之bp算法,梯度下降
- 9 神经网络算法之梯度下降
- 优化算法之梯度下降法
- 优化算法之梯度下降法
- 梯度下降优化算法
- 梯度下降优化算法
- 各种神经网络优化算法:从梯度下降到Adam方法
- 神经网络梯度下降优化算法及初始化方法小结
- BP神经网络梯度下降算法
- 神经网络梯度下降算法综述
- 神经网络的梯度下降法
- 神经网络算法学习---梯度下降和随机梯度下降
- 优化算法-梯度下降法
- 梯度下降优化算法概述
- 梯度下降优化算法综述
- 梯度下降优化算法综述
- 梯度下降优化算法概述
- 基于Linux环境下的jmeter分布式部署
- Selenium常用的方法总结
- Java实现字符串四则运算(带小数点)
- A记录和CNAME记录对比详解
- 《android framework常用api源码分析》之app 进程启动流程
- 神经网络优化算法之不一样的梯度下降
- 51Nod 1068 Bash游戏 V3 找规律
- 关于ubuntu16.04编译2进制文件时,出现“加载共享库时出错”错误的解决
- oracle--13.管理
- Mobx 的一些基本概念
- Mysql--其他用法
- python爬虫解决网页重定向问题
- js的深拷贝和浅拷贝
- 修改android N 的Launcher3桌面显示的行数列数