CS231N 笔记4_卷积神经网络应用之定位与检测

分类：输入图片，得到相应的标签
定位：输入图片，输出相应框的信息：（x,y,w,h）对应的分别是图片的位置（左上角）以及框的大小
检测：在定位中，一般只有一个或一种对象，当在检测中可能会有多个或多种对象。

  我们一般IoU（intersection of union，两目标交集占据两目标并集的百分比）来判断我们的定位的精确度，IoU越大，说明结果和目标越接近。

  在定位中，采用滑动窗口（Sliding Window）来得到目标物体的定位，其操作大概如下：采用定位框（可以多个不同尺寸）在图片上滑动，在每个位置都得到相应的数字，最后结合数字得到定位框的理想位置。

  在训练的时候可以将全连接层变为卷积层，如最后一层特征图尺寸为5∗5∗512，全连接层的节点数为4096，我们可以用卷积核运算代替全连接的矩阵运算：比如用kernel size为5∗5，输入channels为512的卷积核代替全连接的矩阵运算，输出channels为4096。

HOG（Histogram of Oriented Gradients）
  方向梯度直方图，它的实现是在特征的基础上进行线性分类。它的原理是在不同的比例下，计算整个图片的反向梯度直方图，即针对不同尺度、不同位置的区域进行线性分类。

Region Proposals
  传统的定位方法是用很多不同尺寸的框，在不同的位置遍历，以寻找可能存在物体的位置，再放入在分类器中。但是这种方法较为耗时，所以可以采用Region Proposals的方法选择较少的区域运行分类器。其方法大概是依据像素梯度变化选择一个整体的物体，这种方法不计较选择物体的具体种类，只是直接输出大量的目标狂，并直接将整个框放入分类器中进行分类。

目标检测的数据集

\ PASCAL VOC ImageNet Detection MS-COCO Number of Class 20 200 80 Number of images(train +val) 20k 470k -120k Mean objects per image 2.4 1.1 7.2

R-CNN
  R-CNN, Region Proposals + CNN， 基本思想是基于区域的CNN方法，即输入一张图片，应用一种区域选择搜索（Region Proposals）的检测算法，得到大概2k个不同大小、不同位置的框，将每个框内的区域图像裁剪出来并调整到固定大小，再经过CNN进行分了，再CNN的最后分别连接回归层和SVM分类层。回归层用于微调区域框的位置（通过区域特征图反推到整个图片中），从而可以更好的用于检测。这个算法需要将框内的区域特征图提取出来，保存在磁盘上，分别输入进行分类。在分类层上，使用SVM对每个类别都进行二分类，从而实现多分类检测的功能。

R-CNN存在的问题：
  1. 模型运用在测试集时，其运行速度很慢，需要对每个Region Proposal进行整个CNN流程（一个图像可能有2k个）。【附注：正常来说，我们允许训练的时候慢一些，但是测试的时候要快一点】
  2. SVM层和回归层是离线训练的，这表示我们无法很好的调整网络的参数、调整图片框位置。
  3. 复杂训练管道有些混乱（Complex multistage training pipeline）。【这句话大概是回归层和SVM层两个是共享网络参数的，只是最后一层不同，在这种情况下，其训练模型时就有些混乱】

为了解决R-CNN存在的问题，就有了fast R-CNN。
··················································
fast R-CNN

  R-CNN存在着“重复计算”的问题，其含有很多区域图片，多数区域图片是相互重叠的，重叠部分会被多次重复提取特征（提取出来局部图片，分别输入CNN）。fast R-CNN 采用了一个SPP结构，使得我们可以在一张图片提取出不同位置、不同尺寸的特征信息，从而通过共享不同目标框的卷积特征的计算来解决运行速度慢的问题。【SPP结构可以从这里了解，->卷积神经网络应用之图像分割】。这相当于一次训练了所有的区域图像，所以也不用使用复杂的管道。
  但是fast R-CNN存在着测试图像没有区域位置选取的过程，可能效果没那么好。所以需要额外进行一些区域图像推荐的操作。

  既然CNN可以用于回归和分类，为什么不能用于选取区域图像呢？所以faster-CNN 出现了。faster R-CNN 相较于fast R-CNN，在最后一个卷积层之后插入了一个RPN（Region Proposal Network），用于区域推荐。