OpenCV2应用Meanshift查找相似物体

1.概念

这里说的是OpenCV中实现的Meanshift算法的大体概念。
在OpenCV中meanshift算法的原理，大体上是这样的：
首先，预先定义一个窗口（可以通过openCv中的ROI在图像上定义一个感兴趣的窗口），然后计算窗口内所有像素（数据）点的重心，然后将窗口中的中心移动到重心点。重复这个过程，直到满足迭代终止条件。
OpenCV2中，实现meanshift算法的函数是：

cv::meanShift(参数，参数，参数）

当然，调用该函数前要进行一些设置，获得符合函数要求的参数（下面会详细讲）
Meanshift查找相似物体的流程
1、在图片1在定义感兴趣区域（ROI），获得感兴趣的物体A。
2、对ROI区域，提取合适的特征（这里提取归一化后的直方图特征）。
3、读取包含与物体A相似物体的图片2，通过上面提取出的ROI区域的直方图特征。对图片2进行直方图反投影，获得一张“图片2“关于”ROI区域“的概率图。
直方图特征反投影：简单起见，下面以灰度图（彩色图与其类似）大体来说，直方图归一化后，可以将直方图看成一个概率函数。例如，假设在归一化后的直方图中，灰度值为60的，对应的值为0.4，而所有灰度值对应的值，加起来为1。这样，便成为了一个概率函数 yi=f（xi）, i=0…255，y1+y2+…y255=1.现在，对于一张新的图片，将它的每个像素点，用上面归一化后的直方图去映射成新的值，这个值可以说成是该像素点属于直方图的概率（如，图片中像素的灰度值为60，那么将其变为0.4）。这个过程，就叫对某一张图片，用某个直方图特征反投影，投影后得到的图片，可以叫作对于该直方图特征的概率图。
概率图有什么用？
仔细想想，一个直方图特征对应的一张图像。用这个直方图特征在某张图像在投影，计算出来的概率图，就是该图像每一个像素点与直方图特征对应的图像的相似度。
4、获得一张“图片2“关于”ROI区域“的概率图后，在概率图中与定义一块与ROI区域位置、大小一张的区域，以这个区域为起始点，通过Meanshift算法迭代，找到概率图中，概率最大的区域。该区域（位置），即为图片2中与图片1感兴趣区域（ROI）最相似部分的位置。

2.代码

histogram.h

//Histogram类，计算彩色图像的灰度值#ifndef HISTOGRAM#define HISTOGRAM#include <opencv2\core\core.hpp>#include <opencv2\imgproc\imgproc.hpp>#include<opencv2\highgui\highgui.hpp>class Histogram {  private:    int histSize[3];    float hranges[2];    const float* ranges[3];    int channels[3];    public:    Histogram() {        histSize[0]= histSize[1]= histSize[2]= 256;        hranges[0]= 0.0;    // 灰度值区域0到255        hranges[1]= 255.0;        ranges[0]= hranges; //三个通道的灰度值的范围        ranges[1]= hranges;         ranges[2]= hranges;         channels[0]= 0;     // 三个通道        channels[1]= 1;         channels[2]= 2;     }    //计算机hsv图像色调通道直方图，并去除低饱和的像素点    cv::MatND getHueHistogram(const cv::Mat &image, int minSaturation = 0)    {        //直方图        cv::MatND hist;        //HSV空间        cv::Mat hsv;        //转换到HSV空间        cv::cvtColor(image, hsv, CV_BGR2HSV);        //掩码，只处理非零点        cv::Mat mask;        //剔除低于设置饱和度的点        if (minSaturation > 0)        {            std::vector<cv::Mat>v;            cv::split(hsv, v);            cv::threshold(v[1], mask, minSaturation, 255, cv::THRESH_BINARY);        }        //色调值的范围        hranges[0] = 0.0;        hranges[1] = 180.0;        //只处理0通道        channels[0] = 0;        //计算直方图        cv::calcHist(&hsv,            1,            channels,            mask,            hist,            1,            histSize,            ranges            );        return hist;    }};#endif

contentFinder.h

#ifndef OFINDER#define OFINDER#include <opencv2\core\core.hpp>#include <opencv2\imgproc\imgproc.hpp>#include<opencv2\highgui\highgui.hpp>class ContentFinder {  private:    float hranges[2];//像素值的范围    const float* ranges[3];//指向三个通道像素值范围的指针    int channels[3];//通道    float threshold;//阈值    cv::MatND histogram;//直方图  public:      //初始化      ContentFinder() : threshold(-1.0f){        ranges[0]= hranges; // 所有通道有相同的范围        ranges[1]= hranges;         ranges[2]= hranges;     }    // 设置阈值[0~1]    void setThreshold(float t) {        threshold= t;    }    // 得到阈值    float getThreshold() {        return threshold;    }    // 设置直方图    void setHistogram(const cv::MatND& h) {        histogram= h;        //直方图归一化        cv::normalize(histogram,histogram,1.0);    }    // 反投影直方图    cv::Mat find(const cv::Mat& image, float minValue, float maxValue, int *channels, int dim) {        cv::Mat result;        hranges[0]= minValue;        hranges[1]= maxValue;        for (int i=0; i<dim; i++)            this->channels[i]= channels[i];           cv::calcBackProject(&image,                      1,            //1张图片                      this->channels,     //通道                      histogram,    // 直方图                      result,       // 结果                      ranges,       // 每个维度的灰度值范围                      255.0         // 缩放因子            );           // 阈值化        if (threshold>0.0)            cv::threshold(result, result, 255*threshold, 255, cv::THRESH_BINARY);        return result;    }};#endif

源.cpp

//不显示CMD窗口，或者关闭CMD窗口，程序不退出#pragma comment(linker, "/subsystem:windows /ENTRY:mainCRTStartup")#include"histogram.h"#include"contentFinder.h"//需要包含此文件才能调用Meanshift函数#include<opencv2\video\tracking.hpp>using namespace cv;int main(){    //读取第一张图片    Mat image = imread("0001.jpg");    //定义感兴趣区域    Mat imaRoi = image(Rect(213, 121, 21, 95));    //设置最小饱和度    int minSat = 65;    Histogram h;    //获得imaRoi的直方图特征    MatND hist = h.getHueHistogram(imaRoi, minSat);    ContentFinder finder;    finder.setHistogram(hist);    //读取第二张图片    Mat findimage = imread("0024.jpg");    Mat hsv;    //将第二张图片转换为ＨＳＶ格式    cvtColor(findimage, hsv, CV_BGR2HSV);    std::vector<Mat>v;    split(hsv, v);    //将低于 最小饱和度的像素点 设置为0    cv::threshold(v[1], v[1], minSat, 255, THRESH_BINARY);    int ch[1] = { 0 };    cv::Mat result = finder.find(hsv, 0.0f, 180.0f, ch, 1);    //剔除低饱和的点    bitwise_and(result, v[1], result);    //在第一张图片上画出感兴趣区域的位置    rectangle(image, Rect(213, 121, 21, 95), Scalar(255, 0, 0));    //设置迭代停止条件    TermCriteria criteria(TermCriteria::MAX_ITER, 100, 0.01);    //预定义初始矩形区域    Rect rect(213, 121, 21, 95);    //调用meanshift算法，最终得到rect，相似区域的位置    meanShift(result, rect, criteria);    //在第二张图片上，显示相似区域的位置    rectangle(findimage, rect, Scalar(255, 0, 0));    imshow("第一张", image);    imshow("第二张", findimage);    cv::waitKey(0);}

实验结果

最后，可以对连续的视频序列中，当前帧的某一个目标，通过某种方法得到下一帧图像对于该目标的相似度判别数据，然后应用Meanshift算法实现目标的跟踪。（博主本人的主要研究方向就是目标跟踪~~）