【opencv】Camshift目标跟踪

Camshift原理

CamShift算法的全称是"Continuously Adaptive Mean-SHIFT"，即：连续自适应的MeanShift算法。其基本思想是对视频序列的所有图像帧都作MeanShift运算，并将上一帧的结果（即搜索窗口的中心位置和窗口大小）作为下一帧MeanShift算法的搜索窗口的初始值，如此迭代下去。简单点说，meanShift是针对单张图片寻找最优迭代结果，而camShift则是针对视频序列来处理，并对该序列中的每一帧图片都调用meanShift来寻找最优迭代结果。正是由于camShift针对一个视频序列进行处理，从而保证其可以不断调整窗口的大小，如此一来，当目标的大小发生变化的时候，该算法就可以自适应地调整目标区域继续跟踪。

在OpenCV自带的camShift的例子当中，是通过计算目标在HSV空间下的H分量直方图，通过直方图反向投影得到目标像素的概率分布，然后通过调用OpenCV的CAMSHIFT算法，自动跟踪并调整目标窗口的中心位置与大小。该算法对于简单背景下的单目标跟踪效果较好，但如果被跟踪目标与背景颜色或周围其它目标颜色比较接近，则跟踪效果较差。另外，由于采用颜色特征，所以它对被跟踪目标的形状变化有一定的抵抗能力。

http://blog.csdn.net/carson2005/article/details/7439125

 分为三个部分：
1--色彩投影图（反向投影）：
(1).RGB颜色空间对光照亮度变化较为敏感，为了减少此变化对跟踪效果的影响，首先将图像从RGB空间转换到HSV空间。(2).然后对其中的H分量(色调)作直方图，在直方图中代表了不同H分量值出现的概率或者像素个数，就是说可以查找出H分量大小为h的概率或者像素个数，即得到了颜色概率查找表。(3).将图像中每个像素的值用其颜色出现的概率对替换，就得到了颜色概率分布图。这个过程就叫反向投影，颜色概率分布图是一个灰度图像。

2--meanshift
meanshift算法是一种密度函数梯度估计的非参数方法，通过迭代寻优找到概率分布的极值来定位目标。
算法过程为：
(1).在颜色概率分布图中选取搜索窗W
(2).计算零阶距：

计算一阶距：

计算搜索窗的质心：

(3).调整搜索窗大小
宽度为；长度为1.2s；
(4).移动搜索窗的中心到质心，如果移动距离大于预设的固定阈值，则重复2)3)4)，直到搜索窗的中心与质心间的移动距离小于预设的固定阈值，或者循环运算的次数达到某一最大值，停止计算。关于meanshift的收敛性证明可以google相关文献。

3--camshift
将meanshift算法扩展到连续图像序列，就是camshift算法。它将视频的所有帧做meanshift运算，并将上一帧的结果，即搜索窗的大小和中心，作为下一帧meanshift算法搜索窗的初始值。如此迭代下去，就可以实现对目标的跟踪。
算法过程为：
(1).初始化搜索窗
(2).计算搜索窗的颜色概率分布（反向投影）
(3).运行meanshift算法，获得搜索窗新的大小和位置。
(4).在下一帧视频图像中用(3)中的值重新初始化搜索窗的大小和位置，再跳转到(2)继续进行。

camshift能有效解决目标变形和遮挡的问题，对系统资源要求不高，时间复杂度低，在简单背景下能够取得良好的跟踪效果。但当背景较为复杂，或者有许多与目标颜色相似像素干扰的情况下，会导致跟踪失败。因为它单纯的考虑颜色直方图，忽略了目标的空间分布特性，所以这种情况下需加入对跟踪目标的预测算法。

__________________________________________________________________________________________________________________________________________

半自动跟踪思路：输入视频，用画笔圈出要跟踪的目标，然后对物体跟踪。

  用过opencv的都知道，这其实是camshiftdemo的工作过程。

    第一步：选中物体，记录你输入的方框和物体。

    第二步：求出视频中有关物体的反向投影图。

    第三步：根据反向投影图和输入的方框进行meanshift迭代，由于它是向重心移动，即向反向投影图中概率大的地方移动，所以始终会移动到目标上。

    第四步：然后下一帧图像时用上一帧输出的方框来迭代即可。

  全自动跟踪思路：输入视频，对运动物体进行跟踪。

    第一步：运用运动检测算法将运动的物体与背景分割开来。

    第二步：提取运动物体的轮廓，并从原图中获取运动图像的信息。

    第三步：对这个信息进行反向投影，获取反向投影图。

    第四步：根据反向投影图和物体的轮廓（也就是输入的方框）进行meanshift迭代，由于它是向重心移动，即向反向投影图中概率大的地方移动，所以始终会移动到物体上。

    第五步：然后下一帧图像时用上一帧输出的方框来迭代即可。

http://www.cnblogs.com/cfantaisie/archive/2011/06/10/2077190.html

 

下面是一个全自动跟踪的例子

代码是copy来的，从哪来的忘了……

#include <iostream>#include <opencv2/opencv.hpp>using namespace std;using namespace cv;//对轮廓按面积降序排列bool biggerSort(vector<Point> v1, vector<Point> v2){return contourArea(v1)>contourArea(v2);}int main(){//视频不存在，就返回VideoCapture cap("3.AVI");if(cap.isOpened()==false)return 0;//定义变量int i;Mat frame;//当前帧Mat foreground;//前景Mat bw;//中间二值变量Mat se;//形态学结构元素//用混合高斯模型训练背景图像BackgroundSubtractorMOG mog;for(i=0;i<10;++i){cout<<"正在训练背景:"<<i<<endl;cap>>frame;if(frame.empty()==true){cout<<"视频帧太少，无法训练背景"<<endl;getchar();return 0;}mog(frame,foreground,0.01);}//目标外接框、生成结构元素（用于连接断开的小目标）Rect rt;se=getStructuringElement(MORPH_RECT,Size(5,5));//统计目标直方图时使用到的变量vector<Mat> vecImg;vector<int> vecChannel;vector<int> vecHistSize;vector<float> vecRange;Mat mask(frame.rows,frame.cols,DataType<uchar>::type);//变量初始化vecChannel.push_back(0);vecHistSize.push_back(32);vecRange.push_back(0);vecRange.push_back(180);Mat hsv;//HSV颜色空间，在色调H上跟踪目标（camshift是基于颜色直方图的算法）MatND hist;//直方图数组double maxVal;//直方图最大值，为了便于投影图显示，需要将直方图规一化到[0 255]区间上Mat backP;//反射投影图Mat result;//跟踪结果//视频处理流程while(1){//读视频cap>>frame;if(frame.empty()==true)break;//生成结果图frame.copyTo(result);//检测目标(其实是边训练边检测)mog(frame,foreground,0.01);imshow("混合高斯检测前景",foreground);moveWindow("混合高斯检测前景",400,0);//对前景进行中值滤波、形态学膨胀操作，以去除伪目标和接连断开的小目标medianBlur(foreground,foreground,5);imshow("中值滤波",foreground);moveWindow("中值滤波",800,0);morphologyEx(foreground,foreground,MORPH_DILATE,se);//检索前景中各个连通分量的轮廓foreground.copyTo(bw);vector<vector<Point>> contours;findContours(bw,contours,RETR_EXTERNAL,CHAIN_APPROX_NONE);if(contours.size()<1)continue;//对连通分量进行排序std::sort(contours.begin(),contours.end(),biggerSort);//结合camshift更新跟踪位置（由于camshift算法在单一背景下，跟踪效果非常好；//但是在监控视频中，由于分辨率太低、视频质量太差、目标太大、目标颜色不够显著//等各种因素，导致跟踪效果非常差。  因此，需要边跟踪、边检测，如果跟踪不够好，//就用检测位置修改cvtColor(frame,hsv,COLOR_BGR2HSV);vecImg.clear();vecImg.push_back(hsv);for(int k=0;k<contours.size();++k){//第k个连通分量的外接矩形框if(contourArea(contours[k])<contourArea(contours[0])/5)break;rt=boundingRect(contours[k]);mask=0;mask(rt)=255;//统计直方图calcHist(vecImg,vecChannel,mask,hist,vecHistSize,vecRange);minMaxLoc(hist,0,&maxVal);hist=hist*255/maxVal;//计算反向投影图calcBackProject(vecImg,vecChannel,hist,backP,vecRange,1);//camshift跟踪位置Rect search=rt;RotatedRect rrt=CamShift(backP,search,TermCriteria(TermCriteria::COUNT+TermCriteria::EPS,10,1));Rect rt2=rrt.boundingRect();rt&=rt2;//跟踪框画到视频上rectangle(result,rt,Scalar(0,255,0),2);}//结果显示imshow("原图",frame);moveWindow("原图",0,0);imshow("膨胀运算",foreground);moveWindow("膨胀运算",0,350);imshow("反向投影",backP);moveWindow("反向投影",400,350);imshow("跟踪效果",result);moveWindow("跟踪效果",800,350);waitKey(30);}getchar();return 0;}

3.avi是我写的一个目标运动仿真，用来做这个实验

BackgroundSubtractorMOG 

http://blog.csdn.net/xiaowei_cqu/article/details/23689189

int main(){      VideoCapture video("3.avi");      Mat frame,mask,thresholdImage, output;  BackgroundSubtractorMOG bgSubtractor;      while(true){ video>>frame;  if (frame.empty())break;        bgSubtractor(frame,mask,0.1);          imshow("mask",mask);          waitKey(10);      }      return 0;  }