tebsorflow学习——tf.train.ExponentialMovingAverage与tf.train.exponential_decay

#1、滑动平均模型import tensorflow as tf#定义一个变量用于计算滑动平均，这个变量的初始值为0.#类型为tf.float32,因为所有需要计算滑动平均的变量必须是实数型v1=tf.Variable(0,dtype=tf.float32)#这里step变量模拟神经网络中迭代的轮数，可以用于动态控制衰减率step=tf.Variable(0,trainable=False)#定义一个滑动平均的类(class)。初始化时给定了衰减率(0.99)和控制衰减率的变量stepema=tf.train.ExponentialMovingAverage(0.99,step)#定义一个更新变量滑动平均的操作。这里需要给定一个列表，每次执行这个操作时#这个列表中的变量都会被更新maintain_averages_op=ema.apply([v1])with tf.Session() as sess:    #初始化所有变量    init_op=tf.global_variables_initializer()    sess.run(init_op)    #通过ema.average(v1)获取滑动平均之后变量的取值。在初始化之后变量v1的值和v1的滑动平均都为0    print(sess.run([v1,ema.average(v1)]))   #输出[0.0,0.0]    #更新变量v1的值到5    sess.run(tf.assign(v1,5))    #更新v1的滑动平均值。衰减率为min{0.99,(1+step)/(10+step)=0.1}=0.1    #所以v1的滑动平均会被更新为0.1*0+0.9*5=4.5    sess.run(maintain_averages_op)    print(sess.run([v1,ema.average(v1)]))    #更新step的值为10000    sess.run(tf.assign(step,10000))    #更新v1的值为10    sess.run(tf.assign(v1,10))    #更新v1的滑动平均值。衰减率为min{0.99,(1+step)/(10+step)=0.999}}=0.99    #所以v1的滑动平均会被更新为0.99*4.5+0.01*10=4.555    sess.run(maintain_averages_op)    print(sess.run([v1,ema.average(v1)]))    #输出[10.0,4.5549998]    #再次更新滑动平均值，得到的新滑动平均值为0.99*4.555+0.01*10=4.60945    sess.run(maintain_averages_op)    print(sess.run([v1,ema.average(v1)]))    #输出[10.0,4.6094499]

#2、tf.train.exponential_decayimport tensorflow as tf;  import numpy as np;  import matplotlib.pyplot as plt;  learning_rate = 0.1  decay_rate = 0.96  global_steps = 1000  decay_steps = 100  global_ = tf.Variable(tf.constant(0))  c = tf.train.exponential_decay(learning_rate, global_, decay_steps, decay_rate, staircase=True)  d = tf.train.exponential_decay(learning_rate, global_, decay_steps, decay_rate, staircase=False)  T_C = []  F_D = []  with tf.Session() as sess:      for i in range(global_steps):          T_c = sess.run(c,feed_dict={global_: i})          T_C.append(T_c)          F_d = sess.run(d,feed_dict={global_: i})          F_D.append(F_d)  plt.figure(1)  plt.plot(range(global_steps), F_D, 'r-')  plt.plot(range(global_steps), T_C, 'b-')  plt.show()  

初始的学习速率是0.1，总的迭代次数是1000次，如果staircase=True，那就表明每decay_steps次计算学习速率变化，更新原始学习速率，如果是False，那就是每一步都更新学习速率。红色表示False，绿色表示True。

转自此博客。