tensorflow使用不同的学习率
来源:互联网 发布:万科金域名城怎么样 编辑:程序博客网 时间:2024/05/19 15:44
tensorflow使用不同的学习率
var_list1 = [variables from first 5 layers]var_list2 = [the rest of variables]train_op1 = GradientDescentOptimizer(0.00001).minimize(loss, var_list=var_list1)train_op2 = GradientDescentOptimizer(0.0001).minimize(loss, var_list=var_list2)train_op = tf.group(train_op1, train_op2)
但是上面的代码片段对于有些变量的梯度计算了两次
var_list1 = [variables from first 5 layers]var_list2 = [the rest of variables]opt1 = tf.train.GradientDescentOptimizer(0.00001)opt2 = tf.train.GradientDescentOptimizer(0.0001)grads = tf.gradients(loss, var_list1 + var_list2)grads1 = grads[:len(var_list1)]grads2 = grads[len(var_list1):]tran_op1 = opt1.apply_gradients(zip(grads1, var_list1))train_op2 = opt2.apply_gradients(zip(grads2, var_list2))train_op = tf.group(train_op1, train_op2)
阅读全文
0 0
- tensorflow使用不同的学习率
- tensorflow不同位置使用相同的name_scope
- 【tensorflow】在不同层上设置不同的学习率,fine-tuning
- [TensorFlow学习笔记1]TensorFLow的基本概念和基本使用
- tensorflow 恢复指定层与不同层指定不同学习率
- Tensorflow学习记录10--tensorboard的使用
- TensorFlow 学习率的设置
- [TensorFlow] TensorFlow学习的方向
- 【tensorflow 学习】 gpu使用
- tensorflow学习:使用tensorflow实现word embedding
- TensorFlow学习笔记(7)--实现卷积神经网络(同(5),不同的程序风格)
- Tensorflow的eval与run的不同
- TensorFlow不同版本引起的错误
- TensorFlow不同版本引起的错误
- TensorFlow不同版本引起的错误
- TensorFLow 不同大小图片的TFrecords存取
- TensorFlow不同版本引起的错误
- TensorFlow在不同环境下的切换
- 一种简单的js数组去重
- mysql简介
- Twitter的分布式自增ID算法snowflake (Java版)
- Arbitrage--(Bellman—Ford)
- Linux下vmstat调优工具的深入分析
- tensorflow使用不同的学习率
- 进程间通信-管道
- Java日期格式转化工具(date格式转为string格式,string转date,string转timestamp类型)
- 感冒药
- redis -window
- MyBatis 延迟加载,一级缓存,二级缓存设置
- 一个简单的js快速排序算法
- nginx location的配置
- C++学习笔记十四之引用变量&