Tensorflow中tf.train.exponential_decay函数(指数衰减法)
来源:互联网 发布:中国指数研究院 java 编辑:程序博客网 时间:2024/05/17 03:56
在Tensorflow中,为解决设定学习率(learning rate)问题,提供了指数衰减法来解决。
通过tf.train.exponential_decay函数实现指数衰减学习率。
步骤:1.首先使用较大学习率(目的:为快速得到一个比较优的解);
2.然后通过迭代逐步减小学习率(目的:为使模型在训练后期更加稳定);
代码实现:
decayed_learning_rate=learining_rate*decay_rate^(global_step/decay_steps)其中,decayed_learning_rate为每一轮优化时使用的学习率;
learning_rate为事先设定的初始学习率;
decay_rate为衰减系数;
decay_steps为衰减速度。
而tf.train.exponential_decay函数则可以通过staircase(默认值为False,当为True时,(global_step/decay_steps)则被转化为整数) ,选择不同的衰减方式。
代码示例:
global_step = tf.Variable(0)learning_rate = tf.train.exponential_decay(0.1, global_step, 100, 0.96, staircase=True) #生成学习率learning_step = tf.train.GradientDescentOptimizer(learning_rate).minimize(....., global_step=global_step) #使用指数衰减学习率
learning_rate:0.1;staircase=True;则每100轮训练后要乘以0.96.
通常初始学习率,衰减系数,衰减速度的设定具有主观性(即经验设置),而损失函数下降的速度与迭代结束之后损失的大小没有必然联系,
所以神经网络的效果不能单一的通过前几轮损失函数的下降速度来比较。
阅读全文
3 0
- Tensorflow中tf.train.exponential_decay函数(指数衰减法)
- Tensorflow中tf.train.exponential_decay函数(指数衰减法)
- TensorFlow中tf.train.exponential_decay的用法
- 举例说明函数tf.train.exponential_decay用法
- tf.train.exponential_decay 用法
- tf.train.exponential_decay()
- tensorflow中学习率的指数衰减函数
- TensorFlow-方法train.exponential_decay()
- tf.train.exponential_decay的用法
- tf.train.exponential_decay的用法
- 【Tensorflow】tf.train.AdamOptimizer函数
- 【TensorFlow】MNIST(使用全连接神经网络+滑动平均+正则化+指数衰减法+激活函数)
- 关于Tensorflow中的tf.train.batch函数
- Tensorflow:tf.train.SyncReplicasOptimizer
- tensorflow tf.train.SummaryWriter()
- 【TensorFlow】MNIST(使用LeNet5+滑动平均+正则化+指数衰减法+激活函数+模型持久化)
- Tensorflow中提供tf.train.ExponentialMovingAverage函数实现(滑动平均模型)
- tebsorflow学习——tf.train.ExponentialMovingAverage与tf.train.exponential_decay
- 杂记
- java的sleep(),join()和后台线程详解
- Ajax error调试
- 动态规划
- vs2015安装的那些坑
- Tensorflow中tf.train.exponential_decay函数(指数衰减法)
- 对称轴
- IDL中save过程与restore过程
- expect用法
- 图像基础、OpenCV入门1
- 找工作笔试面试那些事儿(8)---常问的C/C++基础题
- 无法生成SSPI上下文
- 微服务学习-设计原则
- 《证券投资二十四堂课》读书笔记