OPENCV HOG特征+SVM分类器行人识别（从训练到识别）

          想要训练分类器，首先要有样本，正样本和负样本，在这里就是有人的样本和没有人的样本，我的样本来源于”INRIA Person Dataset”这个网站，链接为点击打开链接，在下边有个蓝色here（970M），点击下载即可，也可以去我的网盘下载，地址点击打开链接，主要是外国网站太难下载了，我费了很大劲才下载成功，没必要因为样本耽误太多时间。

     下载了样本解压后，点击进去“96X160H96”这个文件夹里放的是正样本，“Train”文件夹下的“neg”放的是负样本，但是负样本需要处理一下才能成为训练分类器的负样本，处理代码如下：别忘了配置你的opencv环境，千万千万注意要更改图片文件的路径，换成你自己的。

#include <iostream>#include <iostream>#include <fstream>#include <stdlib.h> //srand()和rand()函数#include <time.h> //time()函数#include <opencv2/core/core.hpp>#include <opencv2/highgui/highgui.hpp>#include <opencv2/imgproc/imgproc.hpp>#include <opencv2/objdetect/objdetect.hpp>#include <opencv2/ml/ml.hpp>using namespace std;using namespace cv;int CropImageCount = 0; //裁剪出来的负样本图片个数int main(){Mat src;string ImgName;char saveName[256];//裁剪出来的负样本图片文件名ifstream fin("INRIANegativeImageList.txt");//打开原始负样本图片文件列表//ifstream fin("subset.txt");//一行一行读取文件列表while(getline(fin,ImgName)){cout<<"处理："<<ImgName<<endl;ImgName = "E:\\运动目标检测\\INRIAPerson\\Train\\neg\\" + ImgName;src = imread(ImgName,1);//读取图片//src =cvLoadImage(imagename,1);//cout<<"宽："<<src.cols<<"，高："<<src.rows<<endl;//图片大小应该能能至少包含一个64*128的窗口if(src.cols >= 64 && src.rows >= 128){srand(time(NULL));//设置随机数种子//从每张图片中随机裁剪10个64*128大小的不包含人的负样本for(int i=0; i<10; i++){int x = ( rand() % (src.cols-64) ); //左上角x坐标int y = ( rand() % (src.rows-128) ); //左上角y坐标//cout<<x<<","<<y<<endl;Mat imgROI = src(Rect(x,y,64,128)); sprintf(saveName,"E:\\运动目标检测\\INRIAPerson\\negphoto\\noperson%06d.jpg",++CropImageCount);//生成裁剪出的负样本图片的文件名imwrite(saveName, imgROI);//保存文件}}}system("pause");}

有了样本就可以训练分类器并进行识别测试了，代码如下：同样要配置自己的opencv环境，更改图片的路径

在训练分类器代码中要注意几个#define变量的值，修改这些值会在训练和加载已有分类器之间切换等等，可以自己看看研究下，代码不多，简单易懂。

#include <iostream>#include <fstream>#include <opencv2/core/core.hpp>#include <opencv2/highgui/highgui.hpp>#include <opencv2/imgproc/imgproc.hpp>#include <opencv2/objdetect/objdetect.hpp>#include <opencv2/ml/ml.hpp>using namespace std;using namespace cv;#define PosSamNO 2400  //正样本个数#define NegSamNO 12000    //负样本个数#define TRAIN false   //是否进行训练,true表示重新训练，false表示读取xml文件中的SVM模型#define CENTRAL_CROP true   //true:训练时，对96*160的INRIA正样本图片剪裁出中间的64*128大小人体//HardExample：负样本个数。如果HardExampleNO大于0，表示处理完初始负样本集后，继续处理HardExample负样本集。//不使用HardExample时必须设置为0，因为特征向量矩阵和特征类别矩阵的维数初始化时用到这个值#define HardExampleNO 0  //继承自CvSVM的类，因为生成setSVMDetector()中用到的检测子参数时，需要用到训练好的SVM的decision_func参数，//但通过查看CvSVM源码可知decision_func参数是protected类型变量，无法直接访问到，只能继承之后通过函数访问class MySVM : public CvSVM  {  public:      //获得SVM的决策函数中的alpha数组      double * get_alpha_vector()      {          return this->decision_func->alpha;      }        //获得SVM的决策函数中的rho参数,即偏移量      float get_rho()      {          return this->decision_func->rho;      }  }; int main(){//检测窗口(64,128),块尺寸(16,16),块步长(8,8),cell尺寸(8,8),直方图bin个数9HOGDescriptor hog(Size(64,128),Size(16,16),Size(8,8),Size(8,8),9);//HOG检测器，用来计算HOG描述子的int DescriptorDim;//HOG描述子的维数，由图片大小、检测窗口大小、块大小、细胞单元中直方图bin个数决定MySVM svm;//SVM分类器//若TRAIN为true，重新训练分类器if(TRAIN){string ImgName;//图片名(绝对路径)ifstream finPos("INRIAPerson96X160PosList.txt");//正样本图片的文件名列表//ifstream finPos("PersonFromVOC2012List.txt");//正样本图片的文件名列表ifstream finNeg("NoPersonFromINRIAList.txt");//负样本图片的文件名列表Mat sampleFeatureMat;//所有训练样本的特征向量组成的矩阵，行数等于所有样本的个数，列数等于HOG描述子维数Mat sampleLabelMat;//训练样本的类别向量，行数等于所有样本的个数，列数等于1；1表示有人，-1表示无人//依次读取正样本图片，生成HOG描述子for(int num=0; num<PosSamNO && getline(finPos,ImgName); num++){cout<<"处理："<<ImgName<<endl;//ImgName = "D:\\DataSet\\PersonFromVOC2012\\" + ImgName;//加上正样本的路径名ImgName = "E:\\运动目标检测\\INRIAPerson\\96X160H96\\Train\\pos\\" + ImgName;//加上正样本的路径名Mat src = imread(ImgName);//读取图片if(CENTRAL_CROP)src = src(Rect(16,16,64,128));//将96*160的INRIA正样本图片剪裁为64*128，即剪去上下左右各16个像素//resize(src,src,Size(64,128));vector<float> descriptors;//HOG描述子向量hog.compute(src,descriptors,Size(8,8));//计算HOG描述子，检测窗口移动步长(8,8)//cout<<"描述子维数："<<descriptors.size()<<endl;//处理第一个样本时初始化特征向量矩阵和类别矩阵，因为只有知道了特征向量的维数才能初始化特征向量矩阵if( 0 == num ){DescriptorDim = descriptors.size();//HOG描述子的维数//初始化所有训练样本的特征向量组成的矩阵，行数等于所有样本的个数，列数等于HOG描述子维数sampleFeatureMatsampleFeatureMat = Mat::zeros(PosSamNO+NegSamNO+HardExampleNO, DescriptorDim, CV_32FC1);//初始化训练样本的类别向量，行数等于所有样本的个数，列数等于1；1表示有人，0表示无人sampleLabelMat = Mat::zeros(PosSamNO+NegSamNO+HardExampleNO, 1, CV_32FC1);}//将计算好的HOG描述子复制到样本特征矩阵sampleFeatureMatfor(int i=0; i<DescriptorDim; i++)sampleFeatureMat.at<float>(num,i) = descriptors[i];//第num个样本的特征向量中的第i个元素sampleLabelMat.at<float>(num,0) = 1;//正样本类别为1，有人}//依次读取负样本图片，生成HOG描述子for(int num=0; num<NegSamNO && getline(finNeg,ImgName); num++){cout<<"处理："<<ImgName<<endl;ImgName = "E:\\运动目标检测\\INRIAPerson\\negphoto\\" + ImgName;//加上负样本的路径名Mat src = imread(ImgName);//读取图片//resize(src,img,Size(64,128));vector<float> descriptors;//HOG描述子向量hog.compute(src,descriptors,Size(8,8));//计算HOG描述子，检测窗口移动步长(8,8)//cout<<"描述子维数："<<descriptors.size()<<endl;//将计算好的HOG描述子复制到样本特征矩阵sampleFeatureMatfor(int i=0; i<DescriptorDim; i++)sampleFeatureMat.at<float>(num+PosSamNO,i) = descriptors[i];//第PosSamNO+num个样本的特征向量中的第i个元素sampleLabelMat.at<float>(num+PosSamNO,0) = -1;//负样本类别为-1，无人}//处理HardExample负样本if(HardExampleNO > 0){ifstream finHardExample("HardExample_2400PosINRIA_12000NegList.txt");//HardExample负样本的文件名列表//依次读取HardExample负样本图片，生成HOG描述子for(int num=0; num<HardExampleNO && getline(finHardExample,ImgName); num++){cout<<"处理："<<ImgName<<endl;ImgName = "D:\\DataSet\\HardExample_2400PosINRIA_12000Neg\\" + ImgName;//加上HardExample负样本的路径名Mat src = imread(ImgName);//读取图片//resize(src,img,Size(64,128));vector<float> descriptors;//HOG描述子向量hog.compute(src,descriptors,Size(8,8));//计算HOG描述子，检测窗口移动步长(8,8)//cout<<"描述子维数："<<descriptors.size()<<endl;//将计算好的HOG描述子复制到样本特征矩阵sampleFeatureMatfor(int i=0; i<DescriptorDim; i++)sampleFeatureMat.at<float>(num+PosSamNO+NegSamNO,i) = descriptors[i];//第PosSamNO+num个样本的特征向量中的第i个元素sampleLabelMat.at<float>(num+PosSamNO+NegSamNO,0) = -1;//负样本类别为-1，无人}}//输出样本的HOG特征向量矩阵到文件/*ofstream fout("SampleFeatureMat.txt");for(int i=0; i<PosSamNO+NegSamNO; i++){fout<<i<<endl;for(int j=0; j<DescriptorDim; j++){fout<<sampleFeatureMat.at<float>(i,j)<<"  ";              }fout<<endl;}*///训练SVM分类器//迭代终止条件，当迭代满1000次或误差小于FLT_EPSILON时停止迭代CvTermCriteria criteria = cvTermCriteria(CV_TERMCRIT_ITER+CV_TERMCRIT_EPS, 1000, FLT_EPSILON);//SVM参数：SVM类型为C_SVC；线性核函数；松弛因子C=0.01CvSVMParams param(CvSVM::C_SVC, CvSVM::LINEAR, 0, 1, 0, 0.01, 0, 0, 0, criteria);cout<<"开始训练SVM分类器"<<endl;svm.train(sampleFeatureMat,sampleLabelMat, Mat(), Mat(), param);//训练分类器cout<<"训练完成"<<endl;svm.save("SVM_HOG.xml");//将训练好的SVM模型保存为xml文件}else //若TRAIN为false，从XML文件读取训练好的分类器{//svm.load("SVM_HOG_2400PosINRIA_12000Neg_HardExample(误报少了漏检多了).xml");//从XML文件读取训练好的SVM模型svm.load("SVM_HOG.xml");}/*************************************************************************************************线性SVM训练完成后得到的XML文件里面，有一个数组，叫做support vector，还有一个数组，叫做alpha,有一个浮点数，叫做rho;将alpha矩阵同support vector相乘，注意，alpha*supportVector,将得到一个列向量。之后，再该列向量的最后添加一个元素rho。如此，变得到了一个分类器，利用该分类器，直接替换opencv中行人检测默认的那个分类器（cv::HOGDescriptor::setSVMDetector()），就可以利用你的训练样本训练出来的分类器进行行人检测了。***************************************************************************************************/DescriptorDim = svm.get_var_count();//特征向量的维数，即HOG描述子的维数int supportVectorNum = svm.get_support_vector_count();//支持向量的个数cout<<"支持向量个数："<<supportVectorNum<<endl;Mat alphaMat = Mat::zeros(1, supportVectorNum, CV_32FC1);//alpha向量，长度等于支持向量个数Mat supportVectorMat = Mat::zeros(supportVectorNum, DescriptorDim, CV_32FC1);//支持向量矩阵Mat resultMat = Mat::zeros(1, DescriptorDim, CV_32FC1);//alpha向量乘以支持向量矩阵的结果//将支持向量的数据复制到supportVectorMat矩阵中for(int i=0; i<supportVectorNum; i++){const float * pSVData = svm.get_support_vector(i);//返回第i个支持向量的数据指针for(int j=0; j<DescriptorDim; j++){//cout<<pData[j]<<" ";supportVectorMat.at<float>(i,j) = pSVData[j];}}//将alpha向量的数据复制到alphaMat中double * pAlphaData = svm.get_alpha_vector();//返回SVM的决策函数中的alpha向量for(int i=0; i<supportVectorNum; i++){alphaMat.at<float>(0,i) = pAlphaData[i];}//计算-(alphaMat * supportVectorMat),结果放到resultMat中//gemm(alphaMat, supportVectorMat, -1, 0, 1, resultMat);//不知道为什么加负号？resultMat = -1 * alphaMat * supportVectorMat;//得到最终的setSVMDetector(const vector<float>& detector)参数中可用的检测子vector<float> myDetector;//将resultMat中的数据复制到数组myDetector中for(int i=0; i<DescriptorDim; i++){myDetector.push_back(resultMat.at<float>(0,i));}//最后添加偏移量rho，得到检测子myDetector.push_back(svm.get_rho());cout<<"检测子维数："<<myDetector.size()<<endl;//设置HOGDescriptor的检测子HOGDescriptor myHOG;myHOG.setSVMDetector(myDetector);//myHOG.setSVMDetector(HOGDescriptor::getDefaultPeopleDetector());//保存检测子参数到文件ofstream fout("HOGDetectorForOpenCV.txt");for(int i=0; i<myDetector.size(); i++){fout<<myDetector[i]<<endl;}/**************读入图片进行HOG行人检测******************/Mat src = imread("00000.jpg");//Mat src = imread("2007_000423.jpg");//Mat src = imread("1.png");vector<Rect> found, found_filtered;//矩形框数组cout<<"进行多尺度HOG人体检测"<<endl;myHOG.detectMultiScale(src, found, 0, Size(8,8), Size(32,32), 1.05, 2);//对图片进行多尺度行人检测 //src为输入待检测的图片；found为检测到目标区域列表；参数3为程序内部计算为行人目标的阈值，也就是检测到的特征到SVM分类超平面的距离;    //参数4为滑动窗口每次移动的距离。它必须是块移动的整数倍；参数5为图像扩充的大小；参数6为比例系数，即测试图片每次尺寸缩放增加的比例；    //参数7为组阈值，即校正系数，当一个目标被多个窗口检测出来时，该参数此时就起了调节作用，为0时表示不起调节作用。cout<<"找到的矩形框个数："<<found.size()<<endl;//找出所有没有嵌套的矩形框r,并放入found_filtered中,如果有嵌套的话,则取外面最大的那个矩形框放入found_filtered中for(int i=0; i < found.size(); i++){Rect r = found[i];int j=0;for(; j < found.size(); j++)if(j != i && (r & found[j]) == r)break;if( j == found.size())found_filtered.push_back(r);}//画矩形框，因为hog检测出的矩形框比实际人体框要稍微大些,所以这里需要做一些调整for(int i=0; i<found_filtered.size(); i++){Rect r = found_filtered[i];r.x += cvRound(r.width*0.1);r.width = cvRound(r.width*0.8);r.y += cvRound(r.height*0.07);r.height = cvRound(r.height*0.8);rectangle(src, r.tl(), r.br(), Scalar(0,255,0), 3);}imwrite("ImgProcessed.jpg",src);namedWindow("src",0);imshow("src",src);waitKey();//注意：imshow之后必须加waitKey，否则无法显示图像/******************读入单个64*128的测试图并对其HOG描述子进行分类*********************/////读取测试图片(64*128大小)，并计算其HOG描述子//Mat testImg = imread("person014142.jpg");//Mat testImg = imread("noperson000026.jpg");//vector<float> descriptor;//hog.compute(testImg,descriptor,Size(8,8));//计算HOG描述子，检测窗口移动步长(8,8)//Mat testFeatureMat = Mat::zeros(1,3780,CV_32FC1);//测试样本的特征向量矩阵//将计算好的HOG描述子复制到testFeatureMat矩阵中//for(int i=0; i<descriptor.size(); i++)//testFeatureMat.at<float>(0,i) = descriptor[i];//用训练好的SVM分类器对测试图片的特征向量进行分类//int result = svm.predict(testFeatureMat);//返回类标//cout<<"分类结果："<<result<<endl;system("pause");}

想下载我的程序可点击下列链接：

训练分类器：点击打开链接

负样本处理：点击打开链接