TensorFlow中tf.train.exponential_decay的用法
来源:互联网 发布:尼康失真控制数据 编辑:程序博客网 时间:2024/05/16 19:56
在Tensorflow中,为解决设定学习率(learning rate)问题,提供了指数衰减法来解决。
decayed_learning_rate=tf.train.exponential_decay(learning_rate, global_step, decay_steps, decay_rate, staircase=True/False)
其中,decayed_learning_rate为每一轮优化时使用的学习率;
learning_rate为事先设定的初始学习率;
decay_rate为衰减系数;
decay_steps为衰减速度。
而tf.train.exponential_decay函数则可以通过staircase(默认值为False,当为True时,(global_step/decay_steps)则被转化为整数) ,选择不同的衰减方式。
例如:
import tensorflow as tf;import numpy as np;import matplotlib.pyplot as plt;learning_rate = 0.1decay_rate = 0.96steps = 1000decay_steps = 100global_step = tf.Variable(tf.constant(0))
#learning_rate:0.1;staircase=True;则每100轮训练后要乘以0.96
c = tf.train.exponential_decay(learning_rate, global_step, decay_steps, decay_rate, staircase=True)d = tf.train.exponential_decay(learning_rate, global_step, decay_steps, decay_rate, staircase=False)T_C = []F_D = []with tf.Session() as sess:for i in range(steps):T_c = sess.run(c,feed_dict={global_step: i})T_C.append(T_c)F_d = sess.run(d,feed_dict={global_step: i})F_D.append(F_d)plt.figure(1)plt.plot(range(steps), F_D, 'r-')plt.plot(range(steps), T_C, 'b-')plt.show()分析:
初始的学习速率是0.1,总的迭代次数是1000次,如果staircase=True,那就表明每decay_steps次计算学习速率变化,更新原始学习速率,如果是False,那就是每一步都更新学习速率。红色表示False,绿色表示True。
结果:
阅读全文
0 0
- TensorFlow中tf.train.exponential_decay的用法
- tf.train.exponential_decay的用法
- tf.train.exponential_decay的用法
- tf.train.exponential_decay 用法
- Tensorflow中tf.train.exponential_decay函数(指数衰减法)
- Tensorflow中tf.train.exponential_decay函数(指数衰减法)
- 举例说明函数tf.train.exponential_decay用法
- tf.train.exponential_decay()
- TensorFlow-方法train.exponential_decay()
- tf.train.ExponentialMovingAverage的用法
- tf.train.batch和tf.train.shuffle_batch的用法
- tf.train.batch和tf.train.shuffle_batch的用法
- Tensorflow:tf.train.SyncReplicasOptimizer
- tensorflow tf.train.SummaryWriter()
- tebsorflow学习——tf.train.ExponentialMovingAverage与tf.train.exponential_decay
- tensorflow 中tf.concat()用法
- tf.train.ExponentialMovingAverage用法
- 【Tensorflow】tf.train.AdamOptimizer函数
- Lintcode:字符串查找
- SQL中关于EXISTS谓词的理解
- LeetCode-006 ZigZag Conversion
- 如何自学python
- 总结这7年前端UI框架的总结与发展
- TensorFlow中tf.train.exponential_decay的用法
- LXC:Linux 容器工具
- 未来工业智能峰会|看中船、中车的数据智能化之路
- flume中的TaildirSource(1)
- mysql生成一条A表数据的同时得到这条数据的自增ID
- React前端入门学习
- $.post() 和 $.get() 如何同步请求
- 使用Python实现遗传算法
- Windows下Google Protobuf Visual Studio自动编译脚本示例