OpenCV原理解读之HAAR+Adaboost

由于在做人脸检测的项目，用到了OpenCV的训练结果中的老分类器，因此将旧分类器的检测方法进行了总结，加上了一些自己的理解，并转载了一些较好的文章记录下来。

文章 http://www.61ic.com/Article/DaVinci/TMS320DM646x/201310/50733.html 解决了以下函数移植到DSP上的一些问题

下面为HAAR特征检测的具体流程： http://blog.csdn.net/nongfu_spring/article/details/38977555

一． 在计算每个窗口的 haar 值时，使用 CvHidHaarClassifierCascade 结构的casecade ，因此需要以下步骤。

1. 创建 CvHidHaarClassifierCascade 结构对应的 casecade 。

即申请内存，并填写 casecade 中相关的头信息，如有多少个 stage,  每个 stage 下有多少个tree ，每个 tree 下有多少个 node ，以及相关的阈值等信息。

该操作调用的函数是icvCreateHidHaarClassifierCascade

2. 填写每个 haar feature 对应的积分图中矩形框的指针。

包括 casecade 指向的积分图的指针 sum, 更多的是相应 haar 特征对应的矩形框指针以及权重。每个haar 特征对应着 2 个或者 3 个带权重的矩形框，分别用 p0,p1,p2,p3 指向每个矩形框的四个顶点在积分图中的相应位置。

另外，这里 haar 特征对应的矩形框是根据窗口大小变化的。如样本是 20*20 ，某个 haar 特征对应的某一个矩形框是4*4 ，当 scanWindow 的窗口放大为 40*40 时，该矩形框也扩大为 8*8 。

所有的矩形框顶点的指针都是基于原图的积分图的，当窗口缩放时，其 haar 特征对应的矩形框的顶点位置也会发生相应的缩放。

该操作调用的函数是cvSetImageForHaarClassifierCascade

二． 有了 CvHidHaarClassifierCascade 结构的 casecade ，就可以计算每个window 对应的 stage 值了。实际上，在每一个 window 尺寸上创建好casecade 后，就会计算该 window 大小下所有窗口的 stage 值，保存满足条件的那些窗口。然后再创建下一个缩放window 尺寸上的 casecade ，并替换掉上一个尺寸的 casecade ，再计算新window 大小下所有窗口的 stage 值，继续保存满足条件的那些窗口。如此循环，直至检测窗口小于样本尺寸，或者检测窗口大于原图尺寸。其中计算每个固定尺寸窗口的stage 值的过程见三中详述。

三． 计算每一个 window 尺寸上所有窗口的 stage 值。将满足条件的窗口保存下来。这个过程用cvRunHaarClassifierCascadeSum 函数判断，当 cvRunHaarClassifierCascadeSum 返回值大于0 ，才会保存此时检测的窗口位置，作为备选，参与后面的聚类过程。

cvRunHaarClassifierCascadeSum 函数调用 icvEvalHidHaarClassifier来计算出每个树对应节点的 haar 特征值，然后再和该节点的阈值比较，如果小于阈值选择左边分支作为当前node的结果；否则选择右值作为当前node的结果；直至分支的索引小于等于0 ，此时得到的 alpha 为该树的计算结果。

当用 icvEvalHidHaarClassifier 计算所有树的节点后，再判断所有树的累积和（所有树的 alpha 之和）是否大于stage 阈值，如果大于阈值则返回 1 ，否则返回负值。返回 1 ，则再进行下一个stage 计算，直至所有的 stage 计算完毕，并且每个累积和都大于每个 stage 相应的阈值，则cvRunHaarClassifierCascadeSum 返回 1 。

从上面可以看出，需要比较两次一个是node thresh的比较，一个是stage thresh的比较，比较node thresh时选择left_val或者right_val作为比较的结果，比较stage thresh时将所有的node结果累加起来，若累加结果大于stage thresh则算作通过比较，标记当前窗口是有效窗口。

这时一个窗口计算完毕，保存此时检测的窗口位置，作为备选，参与后面的聚类过程。

然后平移窗口，重复上述步骤，直至窗口移动到图像的右下边界。

四．当所有满足尺寸要求的窗口遍历完毕，并将满足条件的窗口保存完毕后，再对保存的窗口进行聚类，和最小邻域过滤。

cvLoadHaarClassifierCascade

从文件中装载训练好的级联分类器或者从OpenCV中嵌入的分类器数据库中导入

CvHaarClassifierCascade* cvLoadHaarClassifierCascade(                         const char* directory,                         CvSize orig_window_size );

directory： 训练好的级联分类器的路径

orig_window_size： 级联分类器训练中采用的检测目标的尺寸。因为这个信息没有在级联分类器中存储，所以要单独指出，但是在haarcascade_frontalface_alt.xml中有指出size的大小。

函数 cvLoadHaarClassifierCascade 用于从文件中装载训练好的利用哈尔特征的级联分类器，或者从OpenCV中嵌入的分类器数据库中导入。分类器的训练可以应用函数haartraining(详细察看opencv/apps/haartraining)，orig_window_size是在训练分类器时就确定好的，修改它并不能改变检测的范围或精度。

需要注意的是，这个函数已经过时了。现在的目标检测分类器通常存储在 XML 或 YAML 文件中,而不是通过路径导入。 从文件中导入分类器，可以使用函数 cvLoad  。

cvReleaseHaarClassifierCascade

释放haar classifier cascade。

void cvReleaseHaarClassifierCascade( CvHaarClassifierCascade** cascade );

cascade： 双指针类型指针指向要释放的cascade. 指针由函数声明。

函数 cvReleaseHaarClassifierCascade 释放cascade的动态内存，其中cascade的动态内存或者是手工创建，或者通过函数 cvLoadHaarClassifierCascade 或 cvLoad分配。

cvHaarDetectObjects

检测图像中的目标

typedef struct CvAvgComp{  CvRect rect; /* bounding rectangle for the object (average rectangle of a group) */  int neighbors; /* number of neighbor rectangles in the group */}CvAvgComp;CvSeq* cvHaarDetectObjects( const CvArr* image, CvHaarClassifierCascade* cascade,              CvMemStorage* storage, double scale_factor=1.1,              int min_neighbors=3, int flags=0,              CvSize min_size=cvSize(0,0) );

image： 被检图像

cascade： harr 分类器级联的内部标识形式

storage： 用来存储检测到的一序列候选目标矩形框的内存区域。

scale_factor： 在前后两次相继的扫描中，搜索窗口的比例系数。例如1.1指将搜索窗口依次扩大10%。

min_neighbors： 构成检测目标的相邻矩形的最小个数(缺省－1)。如果组成检测目标的小矩形的个数和小于min_neighbors-1 都会被排除。如果min_neighbors 为 0, 则函数不做任何操作就返回所有的被检候选矩形框，这种设定值一般用在用户自定义对检测结果的组合程序上。

flags： 操作方式。当前可以定义的操作方式是 CV_HAAR_DO_CANNY_PRUNING(CANNY边缘检测)、CV_HAAR_SCALE_IMAGE(缩放图像检测)、CV_HAAR_FIND_BIGGEST_OBJECT(寻找最大的目标)、CV_HAAR_DO_ROUGH_SEARCH(做粗略搜索)。

如果 CV_HAAR_DO_CANNY_PRUNING 被设定，函数利用Canny边缘检测器来排除一些边缘很少或者很多的图像区域，因为这样的区域一般不含被检目标。人脸检测中通过设定阈值使用了这种方法，并因此提高了检测速度。当然该标记是在没有定义CV_HAAR_SCALE_IMAGE下使用的，也就是说使用缩放检测窗口的形式定义的

如果 CV_HAAR_SCALE_IMAGE被设定则在每一个scale上缩放图像检测，如果没有定义则缩放检测窗口进行检测，当缩放检测窗口检测的时候是不能返回rejectLevels和levelWeights的。

如果 CV_HAAR_FIND_BIGGEST_OBJECT被设定，如果没有设定 CV_HAAR_SCALE_IMAGE，保存当前检测窗口中面积最大的矩形，不管设定没有设定CV_HAAR_SCALE_IMAGE，最后都输出一个面积最大的矩形(如果检测结果不为空的话)，详细分析可以参考 cvHaarDetectObjectsForROC

如果 CV_HAAR_DO_ROUGH_SEARCH设定了，则最小的缩放比例为0.6，否则为0.4，仅在缩放检测窗口中有效

if( findBiggestObject )

flags &= ~(CV_HAAR_SCALE_IMAGE|CV_HAAR_DO_CANNY_PRUNING);

从以上代码可以看出，寻找最大目标优先于缩放图像和边缘检测，也就是说如果同时定义了以上三项，则以寻找最大目标为准

其次从代码结构上缩放图像在前缩放检测窗口在后，因此如果定义了缩放图像，则不进行边缘检测

min_size： 检测窗口的最小尺寸。缺省的情况下被设为分类器训练时采用的样本尺寸(人脸检测中缺省大小是~20×20)。

函数 cvHaarDetectObjects 使用针对某目标物体训练的级联分类器在图像中找到包含目标物体的矩形区域，并且将这些区域作为一序列的矩形框返回。函数以不同比例大小的扫描窗口对图像进行几次搜索(察看cvSetImagesForHaarClassifierCascade)。 每次都要对图像中的这些重叠区域利用cvRunHaarClassifierCascade进行检测。 有时候也会利用某些继承（heuristics）技术以减少分析的候选区域，例如利用 Canny 裁减 （prunning）方法。 函数在处理和收集到候选的方框(全部通过级联分类器各层的区域)之后，接着对这些区域进行组合并且返回一系列各个足够大的组合中的平均矩形。调节程序中的缺省参数(scale_factor=1.1, min_neighbors=3, flags=0)用于对目标进行更精确同时也是耗时较长的进一步检测。为了能对视频图像进行更快的实时检测，参数设置通常是：scale_factor=1.2, min_neighbors=2, flags=CV_HAAR_DO_CANNY_PRUNING, min_size=<minimum possible face size> (例如, 对于视频会议的图像区域).

程序内部调用cvHaarDetectObjectsForROC实现目标检测 ，返回结果存储在返回值CvSeq中，使用CvAvgComp结构体可以实现CvSeq到Rect的转换

vector<CvAvgComp> vecAvgComp;

Seq<CvAvgComp>(_objects).copyTo(vecAvgComp);

objects.resize(vecAvgComp.size());

std::transform(vecAvgComp.begin(), vecAvgComp.end(), objects.begin(), getRect());

也可以使用cvGetSeqElem实现数据的读取

CvRect face_rect = *(CvRect*)cvGetSeqElem( _objects, i, 0 ); cvHaarDetectObjectsForROC

执行目标检测，可以返回rejectLevels和levelWeights

CvSeq*  cvHaarDetectObjectsForROC( const CvArr* _img,

CvHaarClassifierCascade* cascade, CvMemStorage* storage,

std::vector<int>& rejectLevels, std::vector<double>& levelWeights,

double scaleFactor, int minNeighbors, int flags,

CvSize minSize, CvSize maxSize, bool outputRejectLevels );

在该函数 cvHaarDetectObjectsForROC 的内部调用了以下函数进行目标的检测，需要注意的是如果定义了多尺度检测也就是参数flags中设置了CV_HAAR_SCALE_IMAGE，则在后续检测中在每一个scale上使用 cvSetImagesForHaarClassifierCascade设置图像(scale=1.0)，使用HaarDetectObjects_ScaleImage_Invoker进行并行运算（可以返回rejectLevels和levelWeights），而如果没有设置多尺度检测则只在当前尺度 上使用 cvSetImagesForHaarClassifierCascade设置图像(scale*=scaleFactor，需要注意的是当设置了CV_HAAR_FIND_BIGGEST_OBJECT则scaleFactor=1/scaleFactor，并且scale从最大开始不断减小到1，否则scale从1开始不断增大到最大)，使用 HaarDetectObjects_ScaleCascade_Invoker进行并行运算 （不可以返回rejectLevels和levelWeights） 。

不管是使用缩放检测图像，还是使用缩放检测窗口，检测完毕后对窗口进行合并

if( minNeighbors != 0 || findBiggestObject )

{

if( outputRejectLevels )

groupRectangles(rectList, rejectLevels, levelWeights, minNeighbors, GROUP_EPS ); // 关于group的方法参考《OpenCV函数解读之groupRectangles 》

else

groupRectangles(rectList, rweights, std::max(minNeighbors, 1), GROUP_EPS);

}

else

rweights.resize(rectList.size(),0);

从上面的代码可以看出如果定义了CV_HAAR_FIND_BIGGEST_OBJECT，并且输出outputRejectLevels为true的话是肯定没有结果的，因为如果定义了CV_HAAR_FIND_BIGGEST_OBJECT，是不能进行缩放图像检测的(CV_HAAR_SCALE_IMAGE被置为0 )，不进行缩放图像检测也就不能返回 rejectLevels和levelWeights，因此如果想返回 rejectLevels和levelWeights，则必须不能定义 CV_HAAR_FIND_BIGGEST_OBJECT并且必须定义 CV_HAAR_SCALE_IMAGE ，同时outputRejectLevels必须为true 。当然如果定义不恰当很可能返回值中存在object但是不存在rejectLevels和levelWeights。

icvCreateHidHaarClassifierCascade

创建hid haar级联分类器

/* create more efficient internal representation of haar classifier cascade */

static CvHidHaarClassifierCascade*  icvCreateHidHaarClassifierCascade(CvHaarClassifierCascade* cascade);

创建隐形HAAR级联分类器的原因是提高HAAR级联分类器内部处理的效率， CvHidHaarClassifierCascade与 CvHaarClassifierCascade结构是类似的，只不过使用指针将stage联系起来，参考《OpenCV结构解读之CvHaarClassifierCascade等 》

在 icvCreateHidHaarClassifierCascade函数中，分为以下几步将cascade中的stage_classifier与hid_cascade联系起来：

1） 遍历stage_classifier，统计stage、tree以及node总数，查看是否存在倾斜特征，检查每个rect是否超出检测窗口界限

2） 通过上述得到的数据初始化CvHidHaarClassifierCascade 指针对象，其数据结构可以参考 《OpenCV结构解读之CvHaarClassifierCascade等 》

疑问：为什么拷贝了所有的联系，但是没有拷贝rect呢？

原因：针对不同的检测窗口如24*24,48*48，检测窗口的尺寸可能是不同的，所以rect的缩放比例也是不同的，所以每次运算的时候需要根据当前检测窗口大小来寻找不同的的rect的位置    

for( l = 0; l < node_count; l++ )

{

CvHidHaarTreeNode* node = hid_classifier->node + l;

CvHaarFeature* feature = classifier->haar_feature + l;

memset( node, -1, sizeof(*node) );

node->threshold = classifier->threshold[l];

node->left = classifier->left[l];

node->right = classifier->right[l];

// 如果第2个rect不存在的话则将隐形的feature置0，否则将变量tree_rects置为0

if( fabs(feature->rect[2].weight) < DBL_EPSILON ||

feature->rect[2].r.width == 0 ||

feature->rect[2].r.height == 0 )

memset( &(node->feature.rect[2]), 0, sizeof(node->feature.rect[2]) );

else

hid_stage_classifier->two_rects = 0;

}

从上面的代码可以看出，将node中的所有数据赋值为-1，当只存在两个rect的时候，将node的第三个rect赋值为0，

cvSetImagesForHaarClassifierCascade

通过 缩放比例 为隐藏的cascade(hidden cascade)指定 积分图像、平方和图像与倾斜和图像、特征矩形

void cvSetImagesForHaarClassifierCascade( CvHaarClassifierCascade* cascade,                                          const CvArr* sum, const CvArr* sqsum,                                          const CvArr* tilted_sum, double scale );

cascade： Harr 分类器级联（Haar classifier cascade）

sum： 32－比特，单通道图像的积分图像（Integral (sum) 单通道 image of 32-比特 integer format）. 这幅图像以及随后的两幅用于对快速特征的评价和亮度/对比度的归一化。 它们都可以利用函数 cvIntegral从8-比特或浮点数 单通道的输入图像中得到。

sqsum： 单通道64比特图像的平方和图像

tilted_sum： 单通道32比特整数格式的图像的倾斜和图像（Tilted sum），如果存在倾斜特征该参数有不为NULL

以上三个参数：积分图像，平方和图像以及倾斜和是通过cvIntergral函数计算得到的，每一个缩放比例下计算一次。

scale： cascade的窗口比例. 如果 scale=1, 就只用原始窗口尺寸检测 (只检测同样尺寸大小的目标物体) - 原始窗口尺寸在函数cvLoadHaarClassifierCascade中定义 (在 "<default_face_cascade>"中缺省为24x24), 当对图像缩放时scale设置为1.0，当对检测窗口缩放时设置为scale*scaleFactor。

cvRunHaarClassifierCascade

在给定位置的图像中运行cascade of boosted classifier，在 HaarDetectObjects_ScaleCascade_Invoker中调用，也就是在缩放检测窗口检测时调用该函数

该函数内部调用了函数 cvRunHaarClassifierCascadeSum

int cvRunHaarClassifierCascade( CvHaarClassifierCascade* cascade,                                CvPoint pt, int start_stage=0 );

cvRunHaarClassifierCascadeSum

在给定位置的图像中运行 cascade of boosted classifier，在 HaarDetectObjects_ScaleImage_Invoker中调用，也就是在缩放检测图像检测时调用该函数

static int

cvRunHaarClassifierCascadeSum( const CvHaarClassifierCascade* _cascade,

CvPoint pt, double& stage_sum, int start_stage );

cascade：Haar 级联分类器

pt：待检测区域的左上角坐标。待检测区域大小为原始窗口尺寸乘以当前设定的比例系数。当前窗口尺寸可以通过cvGetHaarClassifierCascadeWindowSize重新得到

stage_sum： 权重之和

start_stage：级联层的初始下标值（从0开始计数）。函数假定前面所有每层的分类器都已通过。这个特征通过函数cvHaarDetectObjects内部调用，用于更好的处理器高速缓冲存储器。

函数 cvRunHaarClassifierCascade 用于对单幅图片的检测。在函数调用前首先利用 cvSetImagesForHaarClassifierCascade设定积分图和合适的比例系数 (=> 窗口尺寸)。当分析的矩形框全部通过级联分类器从start_stage开始的每一层时(当前stage的alpha总和大于当前stage的threshold)，返回正值（1）(这是一个候选目标)，否则返回0或负值。

函数中根据当前分类器是否为tree、是否只有一个node来分为三种不同的计算方法。

icvEvalHidHaarClassifier

CV_INLINE

double icvEvalHidHaarClassifier( CvHidHaarClassifier* classifier,

double variance_norm_factor,

size_t p_offset );

icvEvalHidHaarClassifier函数在计算指定窗口中分类器对应的haar值，使用了积分图。即使用该window尺寸下casecade中所有haar特征的p0,p1,p2,p3。每移动一次窗口，p0,p1,p2,p3指针移动相应的位置，再计算(*p0+*p3-*p1-*p2)，其值为图像中矩形框位置的灰度和，将其乘以相应的权重，即可得到haar特征值。下面为相应的代码：

do

{

CvHidHaarTreeNode* node = classifier->node + idx;

double t = node->threshold * variance_norm_factor;

double sum = calc_sum(node->feature.rect[0],p_offset) * node->feature.rect[0].weight;

sum += calc_sum(node->feature.rect[1],p_offset) * node->feature.rect[1].weight;

if( node->feature.rect[2].p0 )

sum += calc_sum(node->feature.rect[2],p_offset) * node->feature.rect[2].weight;

idx = sum < t ? node->left : node->right;

} while( idx > 0 );