caffe GPU版本使用fcn分割自己的图像

折腾好久终于把caffe的fcn图像分割调通，在此记录一下整个过程

非常感谢supe_king的几篇博客http://blog.csdn.net/supe_king/article/details/54142973

 

 

下面介绍正题

使用caffe-gpu版本需要先安装python2.7或者python3.5，安装cuda7.5或者cuda8.0，最后相应版本的cudnn，安装方法为：
将cudnn解压到cuda对应的目录中，cuda目录加入环境变量

 

caffe制作自己的数据集

1 训练集
 
 fcn.berkeleyvision.org-master\data\sbdd\dataset\img\    原始图片
 fcn.berkeleyvision.org-master\data\sbdd\dataset\cls\    label图片
 fcn.berkeleyvision.org-master\data\sbdd\dataset\train.txt   图片名称列表
 
2 测试集

 fcn.berkeleyvision.org-master\data\pascal\VOC2011\JPEGImages\     测试用原始图片
 fcn.berkeleyvision.org-master\data\pascal\VOC2011\SegmentationClass\   label图片
 fcn.berkeleyvision.org-master\data\pascal\VOC2011\ImageSets\Segmentation\seg11valid.txt   测试图片列表
 
label为索引模式图片，索引图片我是用ps套索抠图做的。
原始图片长宽最好不要超过500，否则容易造成GPU溢出。

训练网络：

 要训练自己的数据集，首先从voc-fcn8s中的caffemodel-url下载预训练模型，如果不使用这个模型，那么训练不能收敛
 
 然后要修改以下内容：
 
 1 solver.prototxt
  train_net: "G:/caffe512/caffe-master/fcn.berkeleyvision.org-master/voc-fcn8s/train.prototxt"
  test_net: "G:/caffe512/caffe-master/fcn.berkeleyvision.org-master/voc-fcn8s/val.prototxt"
  修改为自己的路径
  
  snapshot_prefix:
  修改为自己保存训练结果的路径
 2 train.prototxt
  layer {
   name: "data"
   type: "Python"
   top: "data"
   top: "label"
   python_param {
   module: "voc_layers"
   layer: "SBDDSegDataLayer"
   param_str: "{\'sbdd_dir\': \'G:/caffe512/caffe-master/fcn.berkeleyvision.org-master/data/sbdd/dataset\', \'seed\': 1337, \'split\': \'train\', \'mean\': (104.00699, 116.66877, 122.67892)}"
   }
  }
  修改为自己的训练数据路径
  
 3 val.prototxt
  layer {
   name: "data"
   type: "Python"
   top: "data"
   top: "label"
   python_param {
   module: "voc_layers"
   layer: "VOCSegDataLayer"
   param_str: "{\'voc_dir\': \'G:/caffe512/caffe-master/fcn.berkeleyvision.org-master/data/pascal/VOC2011\', \'seed\': 1337, \'split\': \'seg11valid\', \'mean\': (104.00699, 116.66877, 122.67892)}"
   }
  }
  修改为自己的测试数据路径
  
 4 deploy,val,train.prototxt
  这三个文件中fc6和fc7层要重命名，并且把最后几层的输出个数调整为自己的分类数。运行时如果报错说
  层名不匹配，则把不匹配的层全部重命名。（我是这么做的  不知道对不对）
 
 5 solver.py
  此文件是python文件，执行训练命令
  执行此文件可能会出现很多缺失模块的问题，根据提示把缺失的模块装上即可，可使用pip
  
  weights = 'G:/caffe512/caffe-master/fcn.berkeleyvision.org-master/voc-fcn8s/vgg16-fcn.caffemodel'
  改为自己的预训练模型路径
  solver = caffe.SGDSolver('G:/caffe512/caffe-master/fcn.berkeleyvision.org-master/voc-fcn8s/solver.prototxt')
  改为自己的路径
  val = np.loadtxt('G:/caffe512/caffe-master/fcn.berkeleyvision.org-master/voc-fcn8s/segvalid11.txt', dtype=str)
  改为自己的测试图片列表文件
  
  for _ in range(25):
   solver.step(400)
  25表示循环25次
  400表示每400次测试一次网络
  总共会迭代 25*400 = 10000次
 
 全部修改以后 在终端执行 python solver.py 即可开始训练
 
图像分割
 
 训练好了网络以后就可以开始图像分割了
 图像分割的命令在fcn.berkeleyvision.org-master\infer.py
 
 对infer.py进行修改即可
 im = Image.open('G:/095.jpg')
 改为需要分割的图片路径
 
 net = caffe.Net('fcn.berkeleyvision.org-master/voc-fcn8s/deploy.prototxt', 'fcn.berkeleyvision.org-master/voc-fcn8s/snapshot/train_iter_8000.caffemodel', caffe.TEST)
 修改为自己的路径
 
 加上
 plt.imshow(out)
 plt.axis('off')
 plt.savefig('G:\\test.jpg')
 可显示与保存分割结果
 
最后，因为原本训练集的label是.mat的数据格式，而我这里是利用简化的数据集，不需要.mat文件
直接使用索引图片即可，因此还要修改一下voc_layers.py文件

复制class VOCSegDataLayer的load_label函数 替换 class SBDDSegDataLayer的load_label函数，
并修改
def load_label(self, idx):
        """
        Load label image as 1 x height x width integer array of label indices.
        The leading singleton dimension is required by the loss.
        """
        im = Image.open('{}/cls/{}.png'.format(self.sbdd_dir, idx))
        label = np.array(im, dtype=np.uint8)
        label = label[np.newaxis, ...]
        return label
  修改自己的label目录
  
执行python infer.py即可进行图像分割

补充：
 样本均值要改成自己的均值

 

本文只要是参考上面supe_King的博客，结合他的博客应该是可已完成的

 

上一张我训练中的图