r-cnn系列代码编译及解读(2)

来源：互联网发布：linux无法发送tcp 编辑：程序博客网时间：2024/06/15 12:13

本文针对RBG的 faster rcnn 代码，做以下工作：
1）完成安装及配置
2）使用自己的数据做训练和测试

faster-rcnn安装

与 fast-rcnn的安装非常类似：
1) 克隆源代码

git clone --recursive https://github.com/rbgirshick/py-faster-rcnn.git

2）编译Cython模块

cd caffe-fast-rcnn/libmake

3）替换最新caffe文件，解决cudnn5的错误

include/caffe/layers/cudnn_relu_layer.hppsrc/caffe/layers/cudnn_relu_layer.cppsrc/caffe/layers/cudnn_relu_layer.cuinclude/caffe/layers/cudnn_sigmoid_layer.hppsrc/caffe/layers/cudnn_sigmoid_layer.cppsrc/caffe/layers/cudnn_sigmoid_layer.cuinclude/caffe/layers/cudnn_tanh_layer.hppsrc/caffe/layers/cudnn_tanh_layer.cppsrc/caffe/layers/cudnn_tanh_layer.cuinclude/caffe/layers/cudnn_conv_layer.hppsrc/caffe/layers/cudnn_conv_layer.cppsrc/caffe/layers/cudnn_conv_layer.cuinclude/caffe/util/cudnn.hpp

4）编译

cd caffe-fast-rcnnmake -j8 && make pycaffe

5）下载模型文件，测试

# caffe-fast-rcnn/data/fetch_faster_rcnn_models.sh# caffe-fast-rcnn/data/fetch_imagenet_models.sh# 从以上两个文件中拿到下载地址，国内需要翻墙下载./tools/demo.py

　　　　　　　　这里写图片描述
　　　　　　　　　　　　　　　　图1. faster-rcnn 测试demo结果（平均耗时90ms）

使用自己的数据训练

参考这篇文章，思路是：
1）首先将自己的数据转成 pascal_voc 的格式；
2）然后修改faster-rcnn中数据读取接口；
3）然后根据自己数据的类别数修改训练模型；
4）使用/tools/train.py训练；
5）修改/tools/demo.py做测试

训练数据格式化

faster-rcnn使用 pascal_voc 数据做训练和测试，为了最少的变动代码，将我们的数据也换成pascal_voc格式

推荐使用开源工具 labelImg ，可以很方便的在图像中框选目标，并自动生成pascal_voc格式的xml文件。这里特别需要注意坐标格式，框选的时候一定要从左上到右下的顺序

完成后将图片放在 py-faster-rcnn/trainval/JPEGImages/ 目录下
将xml文件放在 py-faster-rcnn/trainval/Annotations/ 目录下
在 py-faster-rcnn/trainval/ 目录下新建一个文件 ImageList.txt，逐行记录图片的名称（不要后缀）

修改数据读取接口

1）修改 py-faster-rcnn/lib/pascal_voc.py 文件
复制pascal_voc.py为my_voc.py
a.修改初始化函数

class my_voc(imdb):    def __init__(self, image_set, devkit_path=None):        imdb.__init__(self, image_set)        self._image_set = image_set        self._devkit_path = devkit_path        self._data_path = os.path.join(self._devkit_path)        self._classes = ('__background__', # always index 0                         'target1', 'target2', 'target3')        self._class_to_ind = dict(zip(self._classes, xrange(len(self._classes))))        self._image_ext = '.jpg'        self._image_index = self._load_image_set_index('/ImageList.txt')        # Default to roidb handler        self._roidb_handler = self.selective_search_roidb        self._salt = str(uuid.uuid4())        self._comp_id = 'comp4'...

b.修改 _load_image_set_index 函数

image_set_file = os.path.join(self._data_path + imagelist)...

c.修改 _load_pascal_annotation 函数

...x1 = float(bbox.find('xmin').text)            y1 = float(bbox.find('ymin').text)            x2 = float(bbox.find('xmax').text)            y2 = float(bbox.find('ymax').text)...

d.修改 main 函数

if __name__ == '__main__':    from datasets.my_voc import my_voc    d = my_voc('trainval/')    res = d.roidb    from IPython import embed; embed()

2）修改 py-faster-rcnn/lib/factory.py 文件
a.import 换成 my_voc 模块

from datasets.my_voc import my_voc

c.注释掉接下来的 3段 set up
d.修改 name, devkit

name = 'my'devkit = '/home/xxx/py-faster-rcnn/trainval'__sets['my'] = (lambda name = name, devkit = devkit: my_voc(name, devkit))

在训练时可能还会有其他错误，比如这里提到的“pb2.text_format”的问题，是由于 protobuf版本的原因，直接 import google.prototxt.text_format 可解决

修改训练模型

faster-rcnn里提供了 vgg16，vgg_cnn_m_1024，zf 大中小3个模型

目录 py-faster-rcnn/data/faster_rcnn_models 是作者使用pascal_voc数据训练好的模型，可以直接拿来检测
目录 py-faster-rcnn/data/imagenet_models 是在 imagenet上训练好的通用模型，用来初始化网络（其实也就是finetunning）
目录 py-faster-rcnn/models/pascal_voc 是3个模型的porototxt文件，在这里需要修改相应参数

复制 pascal_voc 为 my_voc ，以 vgg_cnn_m_1024模型为例，修改 VGG_CNN_M_1024/faster_rcnn_end2end/ 下的3个文件：
1）solver.prototxt
修改 train_net 路径为

models/my_voc/VGG_CNN_M_1024/faster_rcnn_end2end/train.prototxt

2）train.prototxt
a.修改 input-data 层

param_str: "'num_classes': 4"# 新的数据加上 背景 一共 4 类

b.修改 roi-data 层

param_str: "'num_classes': 4"

c.修改 cls_score 层

num_output: 4

d.修改 bbox_pred 层

num_output: 16  # 4*4

3） test.prototxt
a.修改 cls_score 层

num_output: 4

b.修改 bbox_pred 层

num_output: 16

开始训练

python ./tools/train_net.py --gpu 0 --solver models/my_voc/VGG_CNN_M_1024/faster_rcnn_end2end/solver.prototxt --weights data/imagenet_models/VGG_CNN_M_1024.v2.caffemodel --imdb my --iters 80000 --cfg experiments/cfgs/faster_rcnn_end2end.yml

注意：必须要在data/cache/目录下把数据库的缓存文件.pkl给删除掉，否则其不会重新读取相应的数据库，而是直接从之前读入然后缓存的pkl文件中读取进来，这样修改的数据库并没有进入网络，而是加载了老版本的数据。

测试

仿照 /tools/demo.py，修改一个detect.py

主要修改了
1）数据读取方式；
2）原代码中对于一张图片，如果检测到2个类别，会生成2个图像窗口分别表示；这里将所有检测结果放在一个图像窗口里

#!/usr/bin/env python# --------------------------------------------------------# Faster R-CNN# Copyright (c) 2015 Microsoft# Licensed under The MIT License [see LICENSE for details]# Written by Ross Girshick# --------------------------------------------------------"""Demo script showing detections in sample images.See README.md for installation instructions before running."""import _init_pathsfrom fast_rcnn.config import cfgfrom fast_rcnn.test import im_detectfrom fast_rcnn.nms_wrapper import nmsfrom utils.timer import Timerimport matplotlib.pyplot as pltimport numpy as npimport scipy.io as sioimport caffe, os, sys, cv2import argparseCLASSES = ('__background__',           'target1', 'target2', 'target3')def vis_detections(im, class_name, dets, thresh=0.5):    """Draw detected bounding boxes."""    inds = []    for index in range(len(class_name)):        inds.append(np.where(dets[index][:, -1] >= thresh)[0])    '''    if len(inds) == 0:        return    '''    im = im[:, :, (2, 1, 0)]    fig, ax = plt.subplots(figsize=(12, 12))    ax.imshow(im, aspect='equal')    for index in range(len(inds)):        if len(inds[index]) == 0:            continue        for i in inds[index]:            bbox = dets[index][i, :4]            score = dets[index][i, -1]            ax.add_patch(                plt.Rectangle((bbox[0], bbox[1]),                          bbox[2] - bbox[0],                          bbox[3] - bbox[1], fill=False,                          edgecolor='red', linewidth=3.5)                )            ax.text(bbox[0], bbox[1] - 2,                '{:s} {:.3f}'.format(class_name[index], score),                bbox=dict(facecolor='blue', alpha=0.5),                fontsize=14, color='white')    ax.set_title(('detections with '                  'p({} | box) >= {:.1f}').format(class_name,                                                  thresh),                  fontsize=14)    plt.axis('off')    plt.tight_layout()    plt.draw()def demo(net, image_name):    """Detect object classes in an image using pre-computed object proposals."""    # Load the demo image    im_file = os.path.join('/home/xxx/py-faster-rcnn/trainval/JPEGImages/'+image_name+'.jpg')    im = cv2.imread(im_file)    # Detect all object classes and regress object bounds    timer = Timer()    timer.tic()    scores, boxes = im_detect(net, im)    timer.toc()    print ('Detection took {:.3f}s for '           '{:d} object proposals').format(timer.total_time, boxes.shape[0])    # Visualize detections for each class    CONF_THRESH = 0.8    NMS_THRESH = 0.3    cls_ = []    dets_ = []    for cls_ind, cls in enumerate(CLASSES[1:]):        cls_ind += 1 # because we skipped background        cls_boxes = boxes[:, 4*cls_ind:4*(cls_ind + 1)]        cls_scores = scores[:, cls_ind]        dets = np.hstack((cls_boxes,                          cls_scores[:, np.newaxis])).astype(np.float32)        keep = nms(dets, NMS_THRESH)        dets = dets[keep, :]        cls_.append(cls)        dets_.append(dets)    vis_detections(im, cls_, dets_, thresh=CONF_THRESH)def parse_args():    """Parse input arguments."""    parser = argparse.ArgumentParser(description='Faster R-CNN demo')    parser.add_argument('--gpu', dest='gpu_id', help='GPU device id to use [0]',                        default=0, type=int)    parser.add_argument('--cpu', dest='cpu_mode',                        help='Use CPU mode (overrides --gpu)',                        action='store_true')    args = parser.parse_args()    return argsif __name__ == '__main__':    cfg.TEST.HAS_RPN = True  # Use RPN for proposals    args = parse_args()    prototxt = os.path.join('/home/xxx/py-faster-rcnn/models/my_voc/VGG_CNN_M_1024/faster_rcnn_end2end/test.prototxt')    caffemodel = os.path.join('/home/xxx/py-faster-rcnn/output/faster_rcnn_end2end/my/vgg_cnn_m_1024_faster_rcnn_iter_80000.caffemodel')    if not os.path.isfile(caffemodel):        raise IOError(('{:s} not found.').format(caffemodel))    if args.cpu_mode:        caffe.set_mode_cpu()    else:        caffe.set_mode_gpu()        caffe.set_device(args.gpu_id)        cfg.GPU_ID = args.gpu_id    net = caffe.Net(prototxt, caffemodel, caffe.TEST)    print '\n\nLoaded network {:s}'.format(caffemodel)    # Warmup on a dummy image    im = 128 * np.ones((300, 500, 3), dtype=np.uint8)    for i in xrange(2):        _, _= im_detect(net, im)    test_file_list = '/home/xxx/py-faster-rcnn/trainval/ImageList_.txt'    im_names = []    with open(test_file_list, 'r') as f:        im_names.extend(f.readlines())    key = ''    for im_name in im_names:        print '~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~'        print 'detect for {}'.format(im_name)        demo(net, im_name.strip())        plt.show()        key = raw_input("\'q\' to quit:")        if key == 'q':            break

阅读全文

0 0