tensorflow之学习率自衰减的实现
来源:互联网 发布:名赛公司取名软件 编辑:程序博客网 时间:2024/05/18 01:34
在训练神经网络时,需要设置学习率(learning rate)控制参数的更新速度,学习速率设置过小,会极大降低收敛速度,增加训练时间;学习率太大,可能导致参数在最优解两侧来回振荡。
tensorflow提供了一个灵活的学习率设置方法,指数衰减函数tf.train.exponential_decay(),它的计算实现如下:
decayed_learning_rate = learning_rate * decay_rate ^ (global_step / decay_steps)其中decay_rate是衰减系数, decay_steps是衰减速度,learning_rate是初始学习率。
下面给出一个小demo:
...
current_epoch = tf.Variable(0)
loss = ...
learning_rate = tf.train.exponential_decay(0.03, current_epoch, decay_steps=num_epochs, decay_rate=0.03)train_step = tf.train.AdamOptimizer(learning_rate=learning_rate).minimize(loss, global_step=current_epoch)...with tf.Session() as sess: init = tf.global_variables_initializer() sess.run(init) for i in range(num_epochs): current_epoch = i ...主要修改的部分在于上面加粗部分,注意在minimize()里面一定要加上
global_step=current_epoch这样学习速率才会跟着迭代,不然学习速率会一直保持初始值。
阅读全文
0 0
- tensorflow之学习率自衰减的实现
- tensorflow中学习率的指数衰减函数
- Tensorflow 权重衰减的使用
- Tensorflow学习之实现自编码器
- 学习率衰减
- 4用于cifar10的卷积神经网络-4.25/4.26Tensorflow中的四种学习率衰减方法(上/下)
- tensorflow学习笔记之简单自编码器实现
- 梯度下降法快速教程 | 第三章:学习率衰减因子(decay)的原理与Python实现
- Tensorflow学习之逻辑回归的实现
- tensorflow学习3--实现自编码器
- TensorFlow之3 实现自编码器
- tensorflow实现自编码器
- Tensorflow实现自编码器
- tensorflow实现自编码器
- TensorFlow实现自编码器
- TensorFlow实现自编码
- TensorFlow实现自编码器
- Tensorflow 实现自编码
- 《Head First设计模式》笔记————设计模式入门
- 关于ipv6的笔记
- hdu 1219 AC Me (java版本)
- Maven详解之仓库------本地仓库、远程仓库
- MVC用filter做权限过滤: 1:创建filter类;类需要继承一个接口,并且重写4个方法;如下: namespace MvcApplication1.Code { public clas
- tensorflow之学习率自衰减的实现
- 14. (多线程)Multithreading
- C# 复习抽象类的使用,模拟移动设备的读写
- 读取两文件,不同的内容存入另一个文件中
- USACO-Section1.3 Mixing Milk
- 80,90后需要提前领悟的至高心法
- 算法导论程序40--贪心算法(活动选择问题)
- 教你快速实现Nexus刷机
- 《SQL反模式》总结