FCN-加载训练与测试数据
来源:互联网 发布:it监控 编辑:程序博客网 时间:2024/05/17 21:59
当我们生成了数据后,我们来看看FCN是如何加载数据的。
FCN 代码预览
其中:
- data : 训练测试数据
- ilsvrc-nets:存放预训练的模型
- 剩下的框:不同数据集的训练测试prototxt
- voc_layers,siftflow_layers等:数据生成层
- snapshot:保存快照(若没有自建)
加载训练测试数据
我们从solve.py看起。
在这里郑重声明一下:如果训练fcn32s的网络模型,一定要修改solve.py利用transplant的方式获取vgg16的网络权重。
具体操作为:
import sys sys.path.append('/home/hitoia/caffe/python')import caffeimport surgery, scoreimport numpy as npimport osimport systry: import setproctitle setproctitle.setproctitle(os.path.basename(os.getcwd()))except: passvgg_weights = '../ilsvrc-nets/vgg16-fcn.caffemodel' vgg_proto = '../ilsvrc-nets/VGG_ILSVRC_16_layers_deploy.prototxt' weights = '../ilsvrc-nets/vgg16-fcn.caffemodel'#weights = '../ilsvrc-nets/vgg16-fcn.caffemodel'# init#caffe.set_device(int(sys.argv[1]))caffe.set_mode_gpu()caffe.set_device(0)#solver = caffe.SGDSolver('solver.prototxt')#solver.net.copy_from(weights)solver = caffe.SGDSolver('solver.prototxt')vgg_net=caffe.Net(vgg_proto,vgg_weights,caffe.TRAIN) surgery.transplant(solver.net,vgg_net) del vgg_net# surgeriesinterp_layers = [k for k in solver.net.params.keys() if 'up' in k]surgery.interp(solver.net, interp_layers)# scoringval = np.loadtxt('/home/hitoia/fcn.berkeleyvision.org/data/pascal/VOCdevkit/VOC2012/ImageSets/Segmentation/seg11valid.txt', dtype=str) #seg11valid就是测试数据for _ in range(25): solver.step(1000) score.seg_tests(solver, False, val, layer='score')
关于VGG_ILSVRC_16_layers_deploy.prototxt 可以在http://pan.baidu.com/s/1geLL6Sz下载。
如果训练fcn16s,则可以直接copy自己的fcn32s的model的权重,不需要transplant,也就是不需要修改solve.py
如果训练fcn8s,则可以直接copy自己的fcn16s的model的权重,不需要transplant,也就是不需要修改solve.py
只有如此,才能避免loss高居不下的情况
【注意:】为什么这里要使用transplant?
参考:http://www.cnblogs.com/xuanxufeng/p/6243342.html
其实主要是因为vgg中包含了fc6,fc7等全连接层,而FCN中将之改成了全卷积层,二者性质不同,但仍然可以将全连接层的参数拷贝到全卷积层上,也就是这里的transplant所起的作用。
这里的:
for _ in range(25): solver.step(1000) score.seg_tests(solver, False, val, layer='score')
奇怪的现象:修改solver.prototxt中的max_iter: 100000没有改变最大迭代次数,只有改变这个step里的数字才有用,这里最大迭代次数等于25*1000 = 25000次。
而至于训练数据的加载,则在train.prototxt中
layer { name: "data" type: "Python" top: "data" top: "label" python_param { module: "voc_layers" layer: "SBDDSegDataLayer" param_str: "{\'sbdd_dir\': \'../data/sbdd/dataset\', \'seed\': 1337, \'split\': \'train\', \'mean\': (104.00699, 116.66877, 122.67892)}" }}
param_str包含了训练数据加载的参数:sbdd_dir,split
label的加载
上一篇《FCN-数据篇》 讲述了如何生成label数据,
生成索引图后,本应该 制作mat文件,但是有点麻烦,参考了网上的资料,修改代码,使得这里也可以直接存放索引图。
修改fcn目录下的voc_layers.py
注释掉原本的load_label ,修改为新的
# def load_label(self, idx):# """# Load label image as 1 x height x width integer array of label indices.# The leading singleton dimension is required by the loss.# """# import scipy.io# mat = scipy.io.loadmat('{}/cls/{}.mat'.format(self.sbdd_dir, idx))# label = mat['GTcls'][0]['Segmentation'][0].astype(np.uint8)# label = label[np.newaxis, ...]# return label def load_label(self, idx): """ Load label image as 1 x height x width integer array of label indices. The leading singleton dimension is required by the loss. """ im = Image.open('{}/cls/{}.png'.format(self.sbdd_dir, idx)) label = np.array(im, dtype=np.uint8) label = label[np.newaxis, ...] return label
这里的label载入都是0,1等的索引值,代表分割种类。
参考
- ubuntu下caffe的FCN8模型训练
- FCN网络的训练——以SIFT-Flow 数据集为例
- FCN-加载训练与测试数据
- Theano FCN实现与训练经验与教训小结
- 【FCN实践】03 训练
- FCN训练不收敛的原因分析和最详细的FCN训练与测试自己的数据程序配置
- caffe教程翻译:在caffe上训练与测试数据
- FCN网络训练 终极版
- FCN 全卷积网络训练
- FCN网络训练训练——从零开始
- 图像分割与FCN
- 图像分割与FCN
- R-FCN+ResNet-50 训练模型
- FCN模型训练中遇到的困难
- Mxnet(4)-fcn训练自己的数据
- FCN网络训练 SIFTFLOW数据集
- R-FCN resnet50 训练自己的数据
- FCN用自己的数据训练1
- 基于caffe的fcn网络的训练
- FCN模型训练中遇到的困难
- 机器学习决策树学习算法(C++实现)
- 外观模式
- Logistic回归原理
- Sum All Odd Fibonacci Numbers
- poj日记(2965)java
- FCN-加载训练与测试数据
- switch fall-through
- [leetcode]第13周作业
- 求助,不知道错那里了。
- 自编码器简介
- sources.list文件
- Java基础知识学习之路-06-第五章-面向对象(上)
- echarts版百分比堆叠柱状图
- 第13周 Longest Continuous Increasing Subsequence