目标识别与跟踪基础知识（四）---特征提取篇

一.直方图 && haar-like特征提取

一.直方图

1.直方图：单个像素灰度分布的一阶统计量。纹理是灰度在空间以一定的形式变换产生的图案，直方图是描述图像中像素灰度级分布的工具，可以用直方图或其统计特征作为图像的纹理特征。

2.灰度直方图 灰度具有一定的稳定性，对大小、方向都不敏感， 能表现出相当强的鲁棒性。在医学图像中，大多是灰度图像，基于灰色直方图的特征提取是医学图像颜色特征提取中的一个典型算法。

3.颜色直方图 描述不同色彩在整幅图像中所占的比例，而不关心每种色彩所处的空间位置。常用的颜色系是RGB(red,green,blue)颜色空间和HSV(hue,saturation,value)颜色空间，后者更接近人类经验对彩色的感知。

4.灰度级L:包括纯黑、纯白和其间的无数级灰度。这里取灰度级L=256
灰度值Zi:灰度图像在计算机中的表示是一个M*N的二维矩阵，一个像素就对应着矩阵中相应位置的灰度值， Zi表示第i个灰度值。由于灰度级为256，所以灰度值范围在0-255之间，0代表纯黑，255代表纯白。
h(Zi)为直方图中统计的灰度为Zi的像素个数。
p(Zi)为归一化直方图灰度级分布中，灰度为Zi的概率。

5.常用统计特征：均值，标准方差，平滑度

6.三阶矩 ：直方图偏斜性的度量。对于对称的直方图，值为0；若为正值则直方图向右倾斜，若为负值则直方图向左倾斜。
一致性 ：当区域中所有灰相等时该度量最大并由此处开始减小。
熵 ：随机性的度量。熵越大表明随机性越大，信息量也就越大。

二.Haar-like

Haar-like的优势在于能更好地描述明暗变化，如：眼睛比脸颊的颜色要深，鼻梁两侧比鼻梁颜色要深等，因此用于检测正面的人脸。

特征值：特征模板内有白色和黑色两种矩形，并定义该模板的特征值为白色矩形像素和减去黑色矩形像素和，反映了图像的灰度变化，但是矩形特征只对简单的图形结构，如边缘、线段较敏感，因此只能描述特定方向（水平、垂直、对角）的结构。
需要注意的是，像素和相减时应该保证两块区域中的像素数量相等。对于A、B、D类特征模板，特征值=白色像素和-黑色像素和
对于C类特征模板，特征值=白色像素和-2*黑色像素和
A、B、C、D称为特征原型，在图像子窗口中扩展（平移伸缩）得到的特征称为矩形特征，其值称为特征值。
通过改变特征模板的大小和位置，可在图像子窗口中穷举出大量的特征。如24*24像素大小的检测窗口内矩形特征的数量可达16万个，那么，如何快速计算那么多的特征呢？——积分图
积分图可以快速计算子区域的像素和定义为

表示为在(x,y)位置上，对应的积分图中的像素为其左上角所有像素之和。扫描整个图像一遍，当到达图像右下角像素时，积分图像就构建好了。

当求图中矩阵D的像素和时，由D的四个顶点可构造矩阵A、B、C。由面积的恒等式：Sd=Sabcd-Sab-Sac+Sa 得到

二.LBP&PCA

LBP局部二值模式

是一种用来描述图像局部特征的算子，LBP特征具有灰度不变性和旋转不变性等显著优点。LBP特征比较出名的应用是用在人脸识别和目标检测中。
1.原始LBP特征描述
原始的LBP算子定义在像素3*3的邻域内，以邻域中心像素为阈值，相邻的8个像素的灰度值与邻域中心的像素值进行比较，若周围像素大于中心像素值，则该像素点的位置被标记为1，否则为0。这样，3*3邻域内的8个点经过比较可产生8位二进制数，将这8位二进制数依次排列形成一个二进制数字，这个二进制数字就是中心像素的LBP值，LBP值共有28种可能，因此LBP值有256种。中心像素的LBP值反映了该像素周围区域的纹理信息，这种描述方法可以很好的捕捉到图像中的细节。

2.圆形LBP特征
原始LBP特征使用的是固定邻域内的灰度值，当图像的尺度发生变化时，LBP特征的编码将会发生错误，将不能正确的反映像素点周围的纹理信息，因此研究人员对其进行了改进。为了适应不同尺度的纹理特征，并达到灰度和旋转不变性的要求，并用圆形邻域代替了正方形邻域，改进后的 LBP 算子允许在半径为 R 的圆形邻域内有任意多个像素点。从而得到了诸如半径为R的圆形区域内含有P个采样点的LBP算子：


3.旋转不变LBP特征
上述的LBP特征具有灰度不变性，但还不具备旋转不变性，因此研究人员提出了具有旋转不变性的LBP特征。首先不断的旋转圆形邻域内的LBP特征，根据选择得到一系列的LBP特征值，从这些LBP特征值选择LBP特征值最小的作为中心像素点的LBP特征：

4.MB-LBP特征
将图像分成一个个小块（Block），每个小块再分为一个个的小区域（类似于HOG中的cell），小区域内的灰度平均值作为当前小区域的灰度值，与周围小区域灰度进行比较形成LBP特征，生成的特征称为MB-LBP，Block大小为3*3，则小区域的大小为1，就是原始的LBP特征，上图的Block大小为9*9，小区域的大小为3*3。

三.PCA主成分分析
是一种常用的数据分析方法。PCA通过线性变换将原始数据变换为一组各维度线性无关的表示，可用于提取数据的主要特征分量，常用于高维数据的降维。PCA是人脸识别的主流方法之一。
其核心思想是：重整高维数据，提取其中的重要部分，忽略其中无关紧要的部分。
主要步骤：
1.样本矩阵分为训练和测试样本，对矩阵进行向量化
2.计算训练样本平均图
3.计算差值图
4.构建协方差矩阵
5.求协方差矩阵的特征值和特征向量，构造特征图空间
6.将每一副图与平均图的差值矢量投影到特

三.HOG特征

1.概述：方向梯度直方图（Histogram of Oriented Gradient, HOG）特征是一种在计算机视觉和图像处理中用来进行物体检测的特征描述子。它通过计算和统计图像局部区域的梯度方向直方图来构成特征。Hog特征结合SVM分类器已经被广泛应用于图像识别中，尤其在行人检测中获得了极大的成功。需要提醒的是，HOG+SVM进行行人检测的方法是法国研究人员Dalal在2005的CVPR上提出的，而如今虽然有很多行人检测算法不断提出，但基本都是以HOG+SVM的思路为主。
（1）主要思想：
在一副图像中，局部目标的表象和形状（appearance and shape）能够被梯度或边缘的方向密度分布很好地描述。（本质：梯度的统计信息，而梯度主要存在于边缘的地方）。
（2）具体的实现方法是：
首先将图像分成小的连通区域，我们把它叫细胞单元。然后采集细胞单元中各像素点的梯度的或边缘的方向直方图。最后把这些直方图组合起来就可以构成特征描述器。
（3）提高性能：
把这些局部直方图在图像的更大的范围内（我们把它叫区间或block）进行对比度归一化（contrast-normalized），所采用的方法是：先计算各直方图在这个区间（block）中的密度，然后根据这个密度对区间中的各个细胞单元做归一化。通过这个归一化后，能对光照变化和阴影获得更好的效果。
（4）优点：
与其他的特征描述方法相比，HOG有很多优点。首先，由于HOG是在图像的局部方格单元上操作，所以它对图像几何的和光学的形变都能保持很好的不变性，这两种形变只会出现在更大的空间领域上。其次，在粗的空域抽样、精细的方向抽样以及较强的局部光学归一化等条件下，只要行人大体上能够保持直立的姿势，可以容许行人有一些细微的肢体动作，这些细微的动作可以被忽略而不影响检测效果。因此HOG特征是特别适合于做图像中的人体检测的。

2.主要步骤

大概过程：
HOG特征提取方法就是将一个image（你要检测的目标或者扫描窗口）：
1）灰度化（将图像看做一个x,y,z（灰度）的三维图像）；
2）采用Gamma校正法对输入图像进行颜色空间的标准化（归一化）；目的是调节图像的对比度，降低图像局部的阴影和光照变化所造成的影响，同时可以抑制噪音的干扰；
3）计算图像每个像素的梯度（包括大小和方向）；主要是为了捕获轮廓信息，同时进一步弱化光照的干扰。
4）将图像划分成小cells（例如6*6像素/cell）；
5）统计每个cell的梯度直方图（不同梯度的个数），即可形成每个cell的descriptor；
6）将每几个cell组成一个block（例如3*3个cell/block），一个block内所有cell的特征descriptor串联起来便得到该block的HOG特征descriptor。
7）将图像image内的所有block的HOG特征descriptor串联起来就可以得到该image（你要检测的目标）的HOG特征descriptor了。这个就是最终的可供分类使用的特征向量了。