深度学习之模型finetuning
来源:互联网 发布:怎么找手机淘宝小二 编辑:程序博客网 时间:2024/05/21 07:23
1.先说明finetuning在什么情况下使用
-- 借用cs231n课程的图,当数据量较小时,运用深度学习这一神器很可能会出现过拟合的现象,但是又想运用训练的灰常好的如VGGNet、GoogleNet等预训练模型时,可以只对于网络最后面的几层进行重新训练,对于神经网络的底层,因为它充分的在大数据集上进行了基础特征的提取如:颜色、边框等,依旧可以在我们的数据集合上进行运用。当然在进行fine-tuning时,不要盲目的选择预训练模型,可以根据你的数据量、图片数据的特征等(如下表格所示)选择合适的、接近你数据的预训练模型,并且选择合适的需要进行较大重新训练的层和基本不用动的层。
2.具体的fine-tuning流程参加下面的链接,写得非常好。
http://www.cnblogs.com/xuanyuyt/p/6062204.html
补充说明:在网络文件中还可以具体修改 lr_mult: 2 实现对于不同层的学习率设置,在solver文件中是对于整个网络基础学习率的设置。
3.batch_size的设置
http://blog.csdn.net/ycheng_sjtu/article/details/49804041
4. 预训练模型zoo
https://github.com/BVLC/caffe/wiki/Model-Zoo
欢迎一起讨论学习!:)
1 0
- 深度学习之模型finetuning
- caffe 学习系列之finetuning
- 【神经网络与深度学习】Caffe使用step by step:使用自己数据对已经训练好的模型进行finetuning
- Caffe学习3-使用预训练模型finetuning
- 深度学习之LeNet模型
- 深度学习之AlexNet模型
- 深度学习之Alexnet模型
- 深度学习之深度生成模型
- 深度学习模型、方法之稀疏编码
- 深度学习之基础模型---AlexNet
- 深度学习之基础模型-NIN
- 深度学习之基础模型-VGG
- 深度学习之基础模型—resNet
- 深度学习之基础模型-Inception-V3
- 深度学习之基础模型-mobileNet
- 深度学习之基础模型-Xception
- 深度学习之基础模型-FractalNet
- 深度学习之基础模型-ShuffleNet
- Linux运维笔记-课后作业-脚本执行多功能操作虚拟机
- Linux ext2, ext3, ext4 文件系统解读[4]
- selinux对文件的控制
- 杭电oj-1102 Constructing Roads(最小生成树Kruskal算法)
- 一.SpringIOC深入理解
- 深度学习之模型finetuning
- 浅入浅出TensorFlow 9
- 虚函数与纯虚函数
- java中equals和‘==’的详解
- 今天,是伟大的一天 !
- [LeetCode]283. Move Zeroes
- Django_TemplateNotExist
- [代码片]同步锁内外判断
- CountDownLatch和CyclicBarrier使用示例