CNN训练之fine tune
来源:互联网 发布:ps -ef|grep命令 linux 编辑:程序博客网 时间:2024/06/14 06:47
目的
深度卷积神经网络包含大量的参数,这就要求了我们需要大量的数据来训练它。而针对特定的一个任务,往往只有少量数据集。在此背景下,微调网络,作为迁移学习的一种应用,很大程度上(并不是完全)解决了这个困难,比如可以先在ImageNet、TinyImages数据集上训练卷积神经网络,然后将学习到的特征表述迁移到特定的图像分类任务,从而达到一个比较好的效果。但是当图像的特征分布相差较大时,单纯的迁移学习就没有那么有效了,比如将ImageNet直接迁移到医学图像上,就不能得到理想的效果。
微调训练方案
用原始数据(一般为有标签且数量足够多)训练得到一个比较好的CNN模型,然后逐渐增加目标数据在原始数据中的比例,迭代微调CNN模型。相比于直接用目标数据,此方法往往效果更好。
CAFFE上的实现
按需调节每一层的学习参数,一般为增大顶层的学习率,而减小(或设置为0)底层的学习率。在CAFFE中即修改网络配置文件中的lr_mult和decay_mult两个参数。
由于模型加载时是按照层的名字加载的,因此当我们修改修改某一层的结构时,就要修改该层的名字才能开始训练,比如我们往往会修改最后一层的num_ouput,这样最后一层就要修改名字。
阅读全文
0 0
- CNN训练之fine tune
- Caffe之fine tune
- caffe 学习之 Fine-tune
- CNN之fine-tuning
- MXNet的预训练:fine-tune.py源码详解
- Keras入门-预训练模型fine-tune(ResNet)
- fine-tune convolutional network
- caffe fine-tune策略
- digits fine-tune方法
- tensorflow & keras fine tune
- SSD Faster-RCNN使用自己的数据fine-tune训练模型
- keras入门 ---在预训练好网络模型上进行fine-tune
- pytorch学习笔记(十一):fine-tune 预训练的模型
- caffe— 使用模型进行fine tune
- yolo源码解析及fine-tune
- caffe深度学习(一)fine-tune
- Mxnet图片分类(3)fine-tune
- CNN训练
- 输出两个数的最大值
- nefuoj1249|洛谷P2345-树状数组&推式子-你牛
- HDOJ1021 Fibonacci Again
- Android NDK: 嵌套结构体编程
- 彩色图像处理
- CNN训练之fine tune
- [转]集中备用:一些基础算法解释和图示
- python基本语法练习
- 关于微信人工投票怎么刷票拉票之微信人工投票团队刷票后面的秘密
- Android 检测是否连接互联网(英特网)
- [bzoj3732][最小生成树][lca]Network
- 外星人的语言
- python中数组和列表的相互转化以及计算规则
- 创建抽象类Transport