tensorflow的优化器比较
来源:互联网 发布:哈工大大数据集团简介 编辑:程序博客网 时间:2024/06/05 18:46
标准梯度下降法:汇总所有样本的总误差,然后根据总误差更新权值
随机梯度下降:随机抽取一个样本误差,然后更新权值 (每个样本都更新一次权值,可能造成的误差比较大)
批量梯度下降法:相当于前两种的折中方案,抽取一个批次的样本计算总误差,比如总样本有10000个,可以抽取1000个作为一个批次,然后根据该批次的总误差来更新权值。(常用)
momentum:当前权值的改变会收到上一次权值的改变的影响,就像小球滚动时候一样,由于惯性,当前状态会受到上一个状态影响,这样可以加快速度。
NAG(Nesterov Accelerated gradient)与momentum相比,它更为聪明,因为momentum是一个路痴,它不知道去哪里,而NAG则知道我们的目标在哪里。也就是NAG知道我们下一个位置大概在哪里,然后提前计算下一个位置的梯度。然后应用于当前位置指导下一步行动。
Adagrad:核心思想是对于常见的数据给予比较小的学习率去调整参数,对于不常见的数据给予比较大的学习率调整参数。它可以自动调节学习率,但迭代次数多的时候,学习率也会下降。
RMSprob :采用前t-1次梯度平方的平均值 加上当前梯度的平方 的和再开放作为分母
Adadelta :不使用学习率
Adam :会把之前衰减的梯度和梯度平方保存起来,使用RMSprob,Adadelta相似的方法更新参数
阅读全文
0 0
- tensorflow的优化器比较
- Tensorflow常用优化器
- tensorflow 优化器optimizer
- tensorflow- 优化器
- Tensorflow 优化器 optimizer
- tensorflow 优化器optimizer
- TensorFlow, PyTorch, Caffe2的比较
- Tensorflow中的优化器子类
- tensorflow中的优化器:优化器Optimizer
- 【算法优化】比较器的使用
- tensorflow中获取shape的方法比较
- tensorflow优化
- TensorFlow学习(四):优化器Optimizer
- TensorFlow学习(四):优化器Optimizer
- TensorFlow学习(四):优化器Optimizer
- TensorFlow深度学习优化器Optimizer
- 优化算法的比较,选择
- (#########优化器函数########)TensorFlow实现与优化深度神经网络
- Servlet.init() for servlet despatcherServlet threw exception,AopProxyUtils.getSingletonTarget(Ljava/
- HDU 1238 Substrings(暴力+stl)
- 打开我的csdn程序
- QUEUE
- 《C++ Primer》第五版课后习题解答_第二章(2)(09-20)
- tensorflow的优化器比较
- MySQL ALTER TABLE: ALTER vs CHANGE vs MODIFY COLUMN
- 高内聚,低耦合概念
- ASP.NET案例教程实训指导相关资料
- 一篇很全面的freemarker教程
- strftime和strptime使用(时间日期的格式控制函数)
- studio网络判断
- window.open() 和 window.location.href
- PHP----Zend Studio光标变粗了