学习opencv 使用反向块投影搜寻图像中的物体的位置 cvCalcBackProjectPatch()

来源:互联网 发布:d5 1dx2知乎 编辑:程序博客网 时间:2024/05/01 18:05
 

 


步骤:

1.使用一幅只包含小物体的图片(图片大小和物体一样大即可, 不需要向上一篇同样大),计算其二维直方图 (HSV空间中的 h(亮度)和 s (饱和度) 二维直方图   (还可以和图像的梯度和(或)梯度角度结合起来,查找纹理相似 和(或) 颜色相似

2.输入一幅待搜索的图片, 转化为HSV空间 ,只取h 和 s 分量

3. 设置搜索块大小和物体大小相同(即和第1步中图片大小相同) ,使用cvCalcBackProjectPatch反向块投影 和图片result

4.在result中取最大值所在位置,即可得到物体在输入图片中的位置了。 (或者设定一个阈值)

示例程序如下:

 #include <iostream>
#include <cv.h>
#include <highgui.h>
#include <cxcore.h>
using namespace std;
void GetHSV(const IplImage *image,IplImage **h,IplImage **s,IplImage **v);
int main()
{
 IplImage *src = cvLoadImage("f:\\images\\bluecup.jpg");
 IplImage *h_src = NULL ,*s_src = NULL;
 GetHSV(src,&h_src,&s_src,NULL);
 IplImage *images[] = {h_src,s_src};
 CvHistogram *hist_src;
 {//计算二维直方图
  int dims = 2;
  int size[] = {30,32}; // 这个地方不要取的太大!
  //当取为size[] = {180,256}时E7200CPU会运行长达10几分钟的!
  float range_h[] = {0,180} //再用cvCvtColor转换时h已经归一化到180了
   ,range_s[] = {0,256};
  float *ranges[] = {range_h,range_s};
  hist_src = cvCreateHist(dims,size,CV_HIST_ARRAY,ranges);
  cvCalcHist(images,hist_src);
  cvNormalizeHist(hist_src,1);
 }
 IplImage *dst = cvLoadImage("f:\\images\\adrian1.jpg");
 IplImage *h_dst = NULL,*s_dst = NULL;
 GetHSV(dst,&h_dst,&s_dst,NULL);
 images[0] = h_dst ,images[1] = s_dst;
 CvSize patch_size = cvSize(src->width,src->height);
 IplImage *result = cvCreateImage(cvSize(h_dst->width - patch_size.width +1,h_dst->height - patch_size.height +1)
  ,IPL_DEPTH_32F,1);//块搜索时处理边缘是直接舍去,故result的大小比dst小path_size大小
 //32F类型,取值为0~1最亮为1,可直接显示
 //CV_COMP_CORREL相关度,1时最匹配,0时最不匹配
 cvCalcBackProjectPatch(images,result,patch_size,hist_src,CV_COMP_CORREL,1);
 cvShowImage("result",result);
 
 //找出最大值位置,可得到此位置即为杯子所在位置
 CvPoint max_location;
 cvMinMaxLoc(result,NULL,NULL,NULL,&max_location,NULL);
 //加上边缘,得到在原始图像中的实际位置
 max_location.x += cvRound(patch_size.width/2);
 max_location.y += cvRound(patch_size.height/2);
 //在dst图像中用红色小圆点标出位置
 cvCircle(dst,max_location,3,CV_RGB(255,0,0),-1);
 cvShowImage("dst",dst);
 cvWaitKey();
 cvReleaseImage(&src);
 cvReleaseImage(&dst);
 cvReleaseImage(&h_src);
 cvReleaseImage(&h_dst);
 cvReleaseImage(&s_dst);
 cvReleaseImage(&s_src);
 cvReleaseHist(&hist_src);
 cvReleaseImage(&result);
 cvDestroyAllWindows();
}
void GetHSV(const IplImage *image , IplImage **h,IplImage **s,IplImage **v)
{
 IplImage *hsv = cvCreateImage(cvGetSize(image),8,3);
 cvCvtColor(image,hsv,CV_BGR2HSV);
 
 if((h != NULL) && (*h == NULL))
  *h = cvCreateImage(cvGetSize(image),8,1);
 if((s != NULL) && (*s == NULL))
  *s = cvCreateImage(cvGetSize(image),8,1);
 if((v != NULL) && (*v == NULL))
  *v = cvCreateImage(cvGetSize(image),8,1);

 cvSplit(hsv,*h,(s == NULL)?NULL:*s,(v==NULL)?NULL:*v,NULL);
 cvReleaseImage(&hsv);
}
 
第一步物体图片src刚好包含要搜索的物体:



第二步输入图像即待搜索的图像如下:

 

在我的E7200 CPU , 1GB内存 上大概运行了20秒内吧,将size内的数应该可以再适当改的更小此,速度就会提高更多了

结果如下(见图中红色小圆圈标记出来):



若待搜索的图片里有多个此物体,也是可以通过这种方法找出来的


产于cvCalcBackProjectPatch的大概意义 ,

按我的理解的话,应该是通过块窗口搜索图像,比较窗口中对应像素的二维直方图与给定直方图的差异,若完全相同,那当然就越匹配

对于不同的相关度方法,越匹配,其值由相关度方法而定,

如本程序使用的是

CV_COMP_CORREL  

即越相似,则值越接近1. 反之则趋于0


其实使用的时候还可以将图像的梯度考虑进去求解,

如求出图像的梯度+色彩的多维直方图,这样就能得搜索到一定纹理特征和颜色特征的物体了。

ps:此方法搜索是通过统计学特征相似度!和模板匹配法是不同的,各有个的用途

如果只是为了检测某个不变的实物,,还不如使用模板匹配函数,更快