ORSI特征检测综述

A Survey on Object Detection in Optical Remote Sensing Images

Gong Cheng, Junwei Han*

Q note 2017.10.12

---

Abstract

将270篇论文分成四类：
1. 基于模板匹配的对象检测方法
2. 基于知识的对象检测
3. 基于对象的图像分析(OBIA)的对象检测方法
4. 基于机器学习的对象检测方法

并survey五个公开可用的数据集和三个标准的评估指标

1. Introduction

• 光学遥感影像(RSIs)的目标检测是确定给定的航空或卫星图像包含一个或多个属于感兴趣类别的对象，并定位每个被预测对象的位置。在光学RSIs中，目标检测经常受到包括由视点变化、遮挡、背景杂波等引起的物体外观视觉上的变化。
  
• 论文的其余部分组织如下。第2节简要介绍了对象检测的分类方法。在第3、4、5和6节中，我们详尽地回顾了基于模板匹配的对象检测方法、基于知识的对象检测方法、基于对象的检测方法和机器基于学习的对象检测方法。在第7节中，我们回顾了5个公开可用的数据集以及三个标准评价指标。第8节讨论了当前研究挑战和建议两个有前途的研究方向来推进这一领域。最后，在第9节中得出结论。

2. 对象检测方法的分类

3.基于模板匹配的对象检测方法

• 首先手工生成模块Ｔ，然后进行相似性度量，根据最小失真或最大相关性度量进行选择。
• 最常见的相似性度量是绝对差异和(SAD)、平方和(SSD)、标准化的交叉关联(NCC)和欧几里德距离(ED)。
• 虽然刚性模板匹配在某些应用程序中是有效的，但它有很多缺点，导致它们的效用是有限的。刚性模板匹配的一个缺点是它要求模板非常精确，所以它对形状和密度变化很敏感。在大多数应用程序中,由于视图更改或大型内部类，对象的精确几何模板不可用变化的对象之一。例如，上面提到的大多数道路追踪器都不太好用当它们在跟踪过程中遇到不规则的几何变形时，比如路面的外观路口、材料的变化、汽车的遮挡、阴影和车道标志等。

可变形模板匹配

1. 自由格式的可变形模板

自由形式的变形模板通过约束一些一般的对象来表示任意的物体形状正则化(如连续性、平滑性等)和最常用的方法是活动轮廓
模型，也被称为蛇模型。在这些方法中，能量最小化轮廓，称为“蛇”，由三个力或能量的组合控制。简而言之，蛇被塑造成能够变形弹性的，但任何变形都增加了它的内部能量造成了个“恢复力”，试图带来它又回到了原来的形状。

2. 参数可变形模板

4.基于知识的物体检测

５. 基于对象图像分析(OBIA)的对象检测方法

• 首先将图像进行分割，得到相同size的图像，再进行分类，得到检测结果。怎样选择合适的尺度就是一个问题。这方面也展开了一定的工作。

6.基于机器学习的目标检测

6.1 HOG(直方图特征)

• 最初由 Dalal and Triggs (2005) 提出，是一种用于表征图像局部梯度方向和梯度强度分布特性的描述符。其主要思想是：在边缘具体位置未知的情况下，边缘方向的分布也可以很好的表示行人目标的外形轮廓。
  大概过程：
  HOG特征提取方法就是将一个image（你要检测的目标或者扫描窗口）：

  1. 灰度化（将图像看做一个x,y,z（灰度）的三维图像）；
  2. 采用Gamma校正法对输入图像进行颜色空间的标准化（归一化）；目的是调节图像的对比度，降低图像局部的阴影和光照变化所造成的影响，同时可以抑制噪音的干扰；
  3. 计算图像每个像素的梯度（包括大小和方向）；主要是为了捕获轮廓信息，同时进一步弱化光照的干扰。
  4. 将图像划分成小cells（例如6*6像素/cell）；
  5. 统计每个cell的梯度直方图（不同梯度的个数），即可形成每个cell的descriptor；
  6. 将每几个cell组成一个block（例如3*3个cell/block），一个block内所有cell的特征descriptor串联起来便得到该block的HOG特征descriptor。
  7. 将图像image内的所有block的HOG特征descriptor串联起来就可以得到该image（你要检测的目标）的HOG特征descriptor了。这个就是最终的可供分类使用的特征向量了。

• 那么一个图像的HOG特征维数是多少呢？
  顺便做个总结：Dalal提出的Hog特征提取的过程：把样本图像分割为若干个像素的单元（cell），把梯度方向平均划分为9个区间（bin），在每个单元里面对所有像素的梯度方向在各个方向区间进行直方图统计，得到一个9维的特征向量，每相邻的4个单元构成一个块（block），把一个块内的特征向量联起来得到36维的特征向量，用块对样本图像进行扫描，扫描步长为一个单元。最后将所有块的特征串联起来，就得到了人体的特征。例如，对于64*128的图像而言，每16*16的像素组成一个cell，每2*2个cell组成一个块，因为每个cell有9个特征，所以每个块内有4*9=36个特征，以8个像素为步长，那么，水平方向将有7个扫描窗口，垂直方向将有15个扫描窗口。也就是说，64*128的图片，总共有36*7*15=3780个特征。

6.2 BOW

Fei-fei Li在中提出了用BoW模型表达图像的方法. 他们认为, 图像可以类比为文档(document), 图像中的单词(words)可以定义为一个图像块(image patch)的特征向量. 那么图像的BoW模型即是 “图像中所有图像块的特征向量得到的直方图”. 建立BoW模型主要分为如下几个步骤:

1. 特征提取
   假设有N张图像, 第i张图像图像可由n(i)个image patch组成, 也即可以由n(i)个特征向量表达. 则总共能得到sum(n(i))个特征向量(即单词).特征向量可以根据特征问题自行设计, 常用特征有Color histogram, SIFT, LBP等.

2. 生成字典/码本(codebook)
   对上一步得到的特征向量进行聚类(可以使用K-means等聚类方法), 得到K个聚类中心, 用聚类中心构建码本.

3. 根据码本生成直方图
   对每张图片, 通过最近邻计算该图片的每个 “单词”应该属于codebook中的 “哪一类”单词, 从而得到该图片对应于该码本的BoW表示.

6.3 纹理特征

纹理特征的目的是描述物体表面的局部密度变化和物体内在模式，这对于识别对象纹理非常重要。
文中主要介绍了 Gabor特征和LBP局部二值模式。
* Gabor特征

主要对图像进行Gaber滤波

* LBP特征
原始的LBP算子定义为在3x3的窗口内，以窗口中心像素为阈值，将相邻的8个像素的灰度值与其进行比较，若周围像素值大于中心像素值，则该像素点的位置被标记为1，否则为0。这样，3x3邻域内的8个点经比较可产生8位二进制数（通常转换为十进制数即LBP码，共256种），即得到该窗口中心像素点的LBP值，并用这个值来反映该区域的纹理信息。如下图所示：

后来又拓展出一些圆形LBP算子、LBP旋转不变模式
提取主要步骤:

（1）首先将检测窗口划分为16×16的小区域（cell）
（2）对于每个cell中的一个像素，将相邻的8个像素的灰度值与其进行比较，若周围像素值大于中心像素值，则该像素点的位置被标记为1，否则为0。这样，3x3邻域内的8个点经比较可产生8位二进制数，即得到该窗口中心像素点的LBP值
（3）然后计算每个cell的直方图，即每个数字（假定是十进制数LBP值）出现的频率；然后对该直方图进行归一化处理
（4）最后将得到的每个cell的统计直方图进行连接成为一个特征向量，也就是整幅图的LBP纹理特征向量
（5）利用SVM或者其他机器学习算法进行分类了。

6.4 稀疏表示特性

• 通过将高维空间映射到低维空间，α=argminα{||x−Dα||22+λΦ(α)}
  

  Ｄ是过完备字典，α是字典参数，λ是正则化因子

6.5 Haar-like特征

• Haar-like特征最早是由Papageorgiou等应用于人脸表示，Viola和Jones在此基础上，使用3种类型4种形式的特征。
• Haar特征分为三类：边缘特征、线性特征、中心特征和对角线特征，组合成特征模板。特征模板内有白色和黑色两种矩形，并定义该模板的特征值为白色矩形像素和减去黑色矩形像素和。Haar特征值反映了图像的灰度变化情况。例如：脸部的一些特征能由矩形特征简单的描述，如：眼睛要比脸颊颜色要深，鼻梁两侧比鼻梁颜色要深，嘴巴比周围颜色要深等。但矩形特征只对一些简单的图形结构，如边缘、线段较敏感，所以只能描述特定走向（水平、垂直、对角）的结构。

6.6 分类器

SVM、KNN、Adaboost、ANN省略
*　Conditional random field (CRF)　*

转　http://blog.csdn.net/quaner2557/article/details/78252872

7.数据集和评价指标

7.1 数据集

• NWPU VHR-10 dataset
• SZTAKI-INRIA building detection dataset
• TAS aerial car detection dataset
• Overhead imagery research dataset
• IITM road extraction dataset

7.2 评价指标

• Precision-recall curve (PRC)
• F-measure
• Average precision

8. 未来研究方向

• 基于深度学习的工作
• 基于弱监督的基于学习的地理空间目标检测

Reference:

http://dataunion.org/20584.html
https://jiantuku.com/#/