tensorflow学习笔记--深度学习中的epochs,batch_size,iterations详解
来源:互联网 发布:编程用什么cpu 编辑:程序博客网 时间:2024/06/13 21:12
深度学习框架中涉及很多参数,如果一些基本的参数如果不了解,那么你去看任何一个深度学习框架是都会觉得很困难,下面介绍几个新手常问的几个参数。
batch
深度学习的优化算法,说白了就是梯度下降。每次的参数更新有两种方式。
第一种,遍历全部数据集算一次损失函数,然后算函数对各个参数的梯度,更新梯度。这种方法每更新一次参数都要把数据集里的所有样本都看一遍,计算量开销大,计算速度慢,不支持在线学习,这称为Batch gradient descent,批梯度下降。
另一种,每看一个数据就算一下损失函数,然后求梯度更新参数,这个称为随机梯度下降,stochastic gradient descent。这个方法速度比较快,但是收敛性能不太好,可能在最优点附近晃来晃去,hit不到最优点。两次参数的更新也有可能互相抵消掉,造成目标函数震荡的比较剧烈。
为了克服两种方法的缺点,现在一般采用的是一种折中手段,mini-batch gradient decent,小批的梯度下降,这种方法把数据分为若干个批,按批来更新参数,这样,一个批中的一组数据共同决定了本次梯度的方向,下降起来就不容易跑偏,减少了随机性。另一方面因为批的样本数与整个数据集相比小了很多,计算量也不是很大。
基本上现在的梯度下降都是基于mini-batch的,所以深度学习框架的函数中经常会出现batch_size,就是指这个。
关于如何将训练样本转换从batch_size的格式可以参考训练样本的batch_size数据的准备。
iterations
iterations(迭代):每一次迭代都是一次权重更新,每一次权重更新需要batch_size个数据进行Forward运算得到损失函数,再BP算法更新参数。1个iteration等于使用batchsize个样本训练一次。
epochs
epochs被定义为向前和向后传播中所有批次的单次训练迭代。这意味着1个周期是整个输入数据的单次向前和向后传递。简单说,epochs指的就是训练过程中数据将被“轮”多少次,就这样。
举个例子
训练集有1000个样本,batchsize=10,那么:
训练完整个样本集需要:
100次iteration,1次epoch。
具体的计算公式为:
one epoch = numbers of iterations = N = 训练样本的数量/batch_size
注:
在LSTM中我们还会遇到一个seq_length,其实
batch_size = num_steps * seq_length
- tensorflow学习笔记--深度学习中的epochs,batch_size,iterations详解
- 深度学习-学习笔记--深度学习中的epochs,batch_size,iterations详解
- 深度学习中的 Batch_Size
- 深度学习中的 Batch_Size
- 谈谈深度学习中的 Batch_Size
- 谈谈深度学习中的 Batch_Size
- 谈谈深度学习中的 Batch_Size
- 谈谈深度学习中的 Batch_Size
- 谈谈深度学习中的 Batch_Size
- 谈谈深度学习中的 Batch_Size
- 谈谈深度学习中的 Batch_Size
- 谈谈深度学习中的 Batch_Size
- 谈谈深度学习中的 Batch_Size
- 谈谈深度学习中的 Batch_Size
- 深度学习中的Batch_Size中的矛盾
- 深度学习中的 Batch_Size的作用
- 谈谈深度学习中的 Batch_Size和epoches
- 深度学习Batch_Size认知
- DB2,MySql,SqlServer,Oracle游标使用总结
- 并发 concurrent 与并行 parallel 的区别
- 吾日三省吾身
- Eclipse下编辑properties文件的插件 【国际化插件】
- maven仓库
- tensorflow学习笔记--深度学习中的epochs,batch_size,iterations详解
- 剑指offer-用两个栈实现队列
- 在Eclipse中搭建ArcGIS API for JavaScript 开发环境
- group by与distinct的区别
- 二叉树打印叶子节点||打印分支节点
- 将登陆成功后的信息保存到session中
- Oracle-修改用户密码为UNLIMITED
- 【重大更新】DevExpress v17.1新版亮点(Bootstrap篇)
- HTML标签英文全称 (2012-04-24 15:58:41)转载▼ 标签: 杂谈 HTML标签英文全称中文释义 aAnchor锚 abbrAbbreviation缩写词 acrony