TensorFlow入门(九)使用 tf.train.Saver()保存模型
来源:互联网 发布:淘宝助理5.5官方下载 编辑:程序博客网 时间:2024/05/19 20:49
转载出处:http://blog.csdn.net/Jerr__y/article/details/78594494?locationNum=2&fps=1
关于模型保存的一点心得
- 1
在定义 saver 的时候一般会定义最多保存模型的数量,一般来说,如果模型本身很大,我们需要考虑到硬盘大小。如果你需要在当前训练好的模型的基础上进行 fine-tune,那么尽可能多的保存模型,后继 fine-tune 不一定从最好的 ckpt 进行,因为有可能一下子就过拟合了。但是如果保存太多,硬盘也有压力呀。如果只想保留最好的模型,方法就是每次迭代到一定步数就在验证集上计算一次 accuracy 或者 f1 值,如果本次结果比上次好才保存新的模型,否则没必要保存。
如果你想用不同 epoch 保存下来的模型进行融合的话,3到5 个模型已经足够了,假设这各融合的模型成为 M,而最好的一个单模型称为 m_best, 这样融合的话对于M 确实可以比 m_best 更好。但是如果拿这个模型和其他结构的模型再做融合的话,M 的效果并没有 m_best 好,因为M 相当于做了平均操作,减少了该模型的“特性”。
但是又有一种新的融合方式,就是利用调整学习率来获取多个局部最优点,就是当 loss 降不下了,保存一个 ckpt, 然后开大学习率继续寻找下一个局部最优点,然后用这些 ckpt 来做融合,还没试过,单模型肯定是有提高的,就是不知道还会不会出现上面再与其他模型融合就没提高的情况。
如何使用 tf.train.Saver() 来保存模型
之前一直出错,主要是因为坑爹的编码问题。所以要注意文件的路径绝对不不要出现什么中文呀。
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
- 17
- 18
- 19
- 20
- 21
- 1
- 2
注意,在上面保存完了模型之后。应该把 kernel restart 之后才能使用下面的模型导入。否则会因为两次命名 “v1” 而导致名字错误。
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
- 17
- 18
- 19
- 20
- 21
- 1
- 2
- 3
- 4
- 5
导入模型之前,必须重新再定义一遍变量。
但是并不需要全部变量都重新进行定义,只定义我们需要的变量就行了。
也就是说,你所定义的变量一定要在 checkpoint 中存在;但不是所有在checkpoint中的变量,你都要重新定义。
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
- 17
- 18
- 19
- 1
- 2
- 3
- 4
tf.Saver([tensors_to_be_saved]) 中可以传入一个 list,把要保存的 tensors 传入,如果没有给定这个list的话,他会默认保存当前所有的 tensors。一般来说,tf.Saver 可以和 tf.variable_scope() 巧妙搭配,可以参考: 【迁移学习】往一个已经保存好的模型添加新的变量并进行微调
- TensorFlow入门(九)使用 tf.train.Saver()保存模型
- TensorFlow入门(九)使用 tf.train.Saver()保存模型
- Tensorflow的模型保存和读取tf.train.Saver
- 【TensorFlow】模型持久化tf.train.Saver—下(九)
- tensorflow关于tf.train.Saver()
- 【TensorFlow】模型持久化tf.train.Saver—上(八)
- tensorflow学习day2简单监督学习模型及用tf.train.Saver实现检查点恢复
- tf.train.Saver函数的用法之保存全部变量和模型
- tf.train.Saver函数的用法之保存全部变量和模型
- tf.train.Saver
- tf.train.Saver
- class tf.train.Saver
- tensorflow 1.0之tf.train.Saver 文档翻译
- tensorflow学习——tf.train.Supervisor()与tf.train.saver()
- Tensorflow小样例-Saver模型保存读取
- tensorflow 模型的保存与恢复(Saver)
- tensorflow训练权重保存和调用——tf.saver()
- Tensorflow学习(6)模型的保存与恢复(saver)
- 立方尾不变
- 基础算法学习第二天(冒泡排序、选择排序、直接插入排序)
- 邻接链表实现的无向图
- css样式来源于层叠规则
- 一个值得借鉴的插件写法
- TensorFlow入门(九)使用 tf.train.Saver()保存模型
- 如何利用PHPExcel实现数据导出成excel文件
- sklearn中的交叉验证和数据划分
- null id in entry (don't flush the Session after an exception occurs)的错误
- 实验楼课程列表
- 使用maven,当jar包冲突时如何解决
- orcle,mysql 更新备注 某字段数据追加函数
- 客服聊天系统,WeLive客服聊天系统,免费,开源,源码
- Mysql like 通配符和日期函数混合使用