如何理解TensorFlow中的batch和minibatch
来源:互联网 发布:mac重新安装cocoapods 编辑:程序博客网 时间:2024/06/10 16:12
转自 http://hp.stuhome.net/index.php/2016/09/20/tensorflow_batch_minibatch/
原文如下:
在刚开始学习使用TF的过程中,我不是很理解什么是“batch”。也经常有人问,到底minibatch是干什么的?
然而这是一个在TF中,或者说很多DL的框架中很常见的词。
深度学习的优化算法,说白了就是梯度下降。每次的参数更新有两种方式。
- 第一种,遍历全部数据集算一次损失函数,然后算函数对各个参数的梯度,更新梯度。这种方法每更新一次参数都要把数据集里的所有样本都看一遍,计算量开销大,计算速度慢,不支持在线学习,这称为Batch gradient descent,批梯度下降。
- 另一种,每看一个数据就算一下损失函数,然后求梯度更新参数,这个称为随机梯度下降,stochastic gradient descent。这个方法速度比较快,但是收敛性能不太好,可能在最优点附近晃来晃去,hit不到最优点。两次参数的更新也有可能互相抵消掉,造成目标函数震荡的比较剧烈。
Michael Nielsen在这一章节也有解释,mini-batch是什么,为什么有这个东西。
Deep Learning的这一章节的5.9小节也有解释,还给出了batch的典型值。
结合上面给出的中文解释,再看这两个小节,应该会对batch有所理解。
阅读全文
0 0
- 如何理解TensorFlow中的batch和minibatch
- 如何理解TensorFlow中的batch和minibatch
- 如何理解TensorFlow中的batch和minibatch
- 深度学习中常见的相关概念及TensorFlow中的batch和minibatch
- 如何理解TensorFlow中的Graph
- 如何理解TensorFlow,TensorFlow在神经网络训练中的作用是什么?
- Tensorflow下对RNN中Batch-size的测试和理解
- 关于Tensorflow中的tf.train.batch函数
- 理解tensorflow中的 placeholder
- 怎样理解TensorFlow中的Tensor?
- tensorflow batch normalization
- Batch Normalization Tensorflow代码
- TensorFlow实现Batch Normalization
- TensorFlow batch normalization
- Tensorflow的Batch Normalization
- tensorflow实现batch normalization
- tensorflow:flatten batch
- [Tensorflow] Batch Normalization实现
- 快速入门 Editor.MD---在Web项目里使用 Markdown 编辑器
- 01背包空间优化
- 把awk中的数组赋值给shell中的数组
- 从输入url到页面展示到底发生了什么,转载大神的
- C语言进阶之路-----用函数将一个字符串中的元音字母复制到另一个字符串中
- 如何理解TensorFlow中的batch和minibatch
- Linux 之 SSH免密登陆之一 基础解析
- Linux命令学习总结:dos2unix
- (JAVA)分蛋糕
- python Fasta文件格式化-每行固定数目碱基输出
- 算法导论读书笔记(14)数据结构的扩张
- Runtime笔记(官方Doc翻译+原创)
- 底部动作条(BottomSheet)学习
- Unity插件收集