利用Hog特征和SVM分类器进行行人检测【仅供参考】

来源:互联网 发布:手机写歌词软件 编辑:程序博客网 时间:2024/06/14 02:53

文章来源:http://blog.csdn.net/sunanger_wang/article/details/7887294


之前介绍过Hog特征(http://blog.csdn.net/carson2005/article/details/7782726),也介绍过SVM分类器(http://blog.csdn.net/carson2005/article/details/6453502 );而本文的目的在于介绍利用Hog特征和SVM分类器来进行行人检测。

2005CVPR上,来自法国的研究人员Navneet Dalal Bill Triggs提出利用Hog进行特征提取,利用线性SVM作为分类器,从而实现行人检测。而这两位也通过大量的测试发现,Hog+SVM是速度和效果综合平衡性能较好的一种行人检测方法。后来,虽然很多研究人员也提出了很多改进的行人检测算法,但基本都以该算法为基础框架。因此,Hog+SVM也成为一个里程表式的算法被写入到OpenCV中。在OpenCV2.0之后的版本,都有Hog特征描述算子的API,而至于SVM,早在OpenCV1.0版本就已经集成进去了;OpenCV虽然提供了HogSVMAPI,也提供了行人检测的sample,遗憾的是,OpenCV并没有提供样本训练的sample。这也就意味着,很多人只能用OpenCV自带的已经训练好的分类器来进行行人检测。然而,OpenCV自带的分类器是利用Navneet DalalBill Triggs提供的样本进行训练的,不见得能适用于你的应用场合。因此,针对你的特定应用场景,很有必要进行重新训练得到适合你的分类器。本文的目的,正在于此。

重新训练行人检测的流程:

(1)准备训练样本集合;包括正样本集和负样本集;根据机器学习的基础知识我们知道,要利用机器学习算法进行样本训练,从而得到一个性能优良的分类器,训练样本应该是无限多的,而且训练样本应该覆盖实际应用过程中可能发生的各种情况。(很多朋友,用10来个正样本,10来个负样本进行训练,之后,就进行测试,发现效果没有想象中的那么好,就开始发牢骚,抱怨。。。对于这些人,我只能抱歉的说,对于机器学习、模式识别的认识,你还处于没有入门的阶段);实际应用过程中,训练样本不可能无限多,但无论如何,三五千个正样本,三五千个负样本,应该不是什么难事吧?(如果连这个都做不到,建议你别搞机器学习,模式识别了;训练素材都没有,怎么让机器学习到足够的信息呢?)

(2)收集到足够的训练样本之后,你需要手动裁剪样本。例如,你想用Hog+SVM来对商业步行街的监控画面中进行行人检测,那么,你就应该用收集到的训练样本集合,手动裁剪画面中的行人(可以写个简单程序,只需要鼠标框选一下,就将框选区域保存下来)。

(3)裁剪得到训练样本之后,将所有正样本放在一个文件夹中;将所有负样本放在另一个文件夹中;并将所有训练样本缩放到同样的尺寸大小。OpenCV自带的例子在训练时,就是将样本缩放为64*128进行训练的;

(4)提取所有正样本的Hog特征;

(5)提取所有负样本的Hog特征;

(6)对所有正负样本赋予样本标签;例如,所有正样本标记为1,所有负样本标记为0

(7)将正负样本的Hog特征,正负样本的标签,都输入到SVM中进行训练;Dalal在论文中考虑到速度问题,建议采用线性SVM进行训练。这里,不妨也采用线性SVM

(8)SVM训练之后,将结果保存为文本文件。

(9)线性SVM进行训练之后得到的文本文件里面,有一个数组,叫做support vector,还有一个数组,叫做alpha,有一个浮点数,叫做rho;alpha矩阵同support vector相乘,注意,alpha*supportVector,将得到一个列向量。之后,再该列向量的最后添加一个元素rho。如此,变得到了一个分类器,利用该分类器,直接替换opencv中行人检测默认的那个分类器(cv::HOGDescriptor::setSVMDetector()),就可以利用你的训练样本训练出来的分类器进行行人检测了。

下面给出样本训练的参考代码:

[cpp] view plaincopy
  1. class Mysvm: public CvSVM
  2. {
  3. public:
  4. int get_alpha_count()
  5. {
  6. return this->sv_total;
  7. }
  8. int get_sv_dim()
  9. {
  10. return this->var_all;
  11. }
  12. int get_sv_count()
  13. {
  14. return this->decision_func->sv_count;
  15. }
  16. double* get_alpha()
  17. {
  18. return this->decision_func->alpha;
  19. }
  20. float** get_sv()
  21. {
  22. return this->sv;
  23. }
  24. float get_rho()
  25. {
  26. return this->decision_func->rho;
  27. }
  28. };
  29. void Train()
  30. {
  31. char classifierSavePath[256] = "c:/pedestrianDetect-peopleFlow.txt";
  32. string positivePath = "E:\\pictures\\train1\\pos\\";
  33. string negativePath = "E:\\pictures\\train1\\neg\\";
  34. int positiveSampleCount = 4900;
  35. int negativeSampleCount = 6192;
  36. int totalSampleCount = positiveSampleCount + negativeSampleCount;
  37. cout<<"//////////////////////////////////////////////////////////////////"<<endl;
  38. cout<<"totalSampleCount: "<<totalSampleCount<<endl;
  39. cout<<"positiveSampleCount: "<<positiveSampleCount<<endl;
  40. cout<<"negativeSampleCount: "<<negativeSampleCount<<endl;
  41. CvMat *sampleFeaturesMat = cvCreateMat(totalSampleCount , 1764, CV_32FC1);
  42. //64*128的训练样本,该矩阵将是totalSample*3780,64*64的训练样本,该矩阵将是totalSample*1764
  43. cvSetZero(sampleFeaturesMat);
  44. CvMat *sampleLabelMat = cvCreateMat(totalSampleCount, 1, CV_32FC1);//样本标识
  45. cvSetZero(sampleLabelMat);
  46. cout<<"************************************************************"<<endl;
  47. cout<<"start to training positive samples..."<<endl;
  48. char positiveImgName[256];
  49. string path;
  50. for(int i=0; i<positiveSampleCount; i++)
  51. {
  52. memset(positiveImgName, '\0', 256*sizeof(char));
  53. sprintf(positiveImgName, "%d.jpg", i);
  54. int len = strlen(positiveImgName);
  55. string tempStr = positiveImgName;
  56. path = positivePath + tempStr;
  57. cv::Mat img = cv::imread(path);
  58. if( img.data == NULL )
  59. {
  60. cout<<"positive image sample load error: "<<i<<" "<<path<<endl;
  61. system("pause");
  62. continue;
  63. }
  64. cv::HOGDescriptor hog(cv::Size(64,64), cv::Size(16,16), cv::Size(8,8), cv::Size(8,8), 9);
  65. vector<float> featureVec;
  66. hog.compute(img, featureVec, cv::Size(8,8));
  67. int featureVecSize = featureVec.size();
  68. for (int j=0; j<featureVecSize; j++)
  69. {
  70. CV_MAT_ELEM( *sampleFeaturesMat, float, i, j ) = featureVec[j];
  71. }
  72. sampleLabelMat->data.fl[i] = 1;
  73. }
  74. cout<<"end of training for positive samples..."<<endl;
  75. cout<<"*********************************************************"<<endl;
  76. cout<<"start to train negative samples..."<<endl;
  77. char negativeImgName[256];
  78. for (int i=0; i<negativeSampleCount; i++)
  79. {
  80. memset(negativeImgName, '\0', 256*sizeof(char));
  81. sprintf(negativeImgName, "%d.jpg", i);
  82. path = negativePath + negativeImgName;
  83. cv::Mat img = cv::imread(path);
  84. if(img.data == NULL)
  85. {
  86. cout<<"negative image sample load error: "<<path<<endl;
  87. continue;
  88. }
  89. cv::HOGDescriptor hog(cv::Size(64,64), cv::Size(16,16), cv::Size(8,8), cv::Size(8,8), 9);
  90. vector<float> featureVec;
  91. hog.compute(img,featureVec,cv::Size(8,8));//计算HOG特征
  92. int featureVecSize = featureVec.size();
  93. for ( int j=0; j<featureVecSize; j ++)
  94. {
  95. CV_MAT_ELEM( *sampleFeaturesMat, float, i + positiveSampleCount, j ) = featureVec[ j ];
  96. }
  97. sampleLabelMat->data.fl[ i + positiveSampleCount ] = -1;
  98. }
  99. cout<<"end of training for negative samples..."<<endl;
  100. cout<<"********************************************************"<<endl;
  101. cout<<"start to train for SVM classifier..."<<endl;
  102. CvSVMParams params;
  103. params.svm_type = CvSVM::C_SVC;
  104. params.kernel_type = CvSVM::LINEAR;
  105. params.term_crit = cvTermCriteria(CV_TERMCRIT_ITER, 1000, FLT_EPSILON);
  106. params.C = 0.01;
  107. Mysvm svm;
  108. svm.train( sampleFeaturesMat, sampleLabelMat, NULL, NULL, params ); //用SVM线性分类器训练
  109. svm.save(classifierSavePath);
  110. cvReleaseMat(&sampleFeaturesMat);
  111. cvReleaseMat(&sampleLabelMat);
  112. int supportVectorSize = svm.get_support_vector_count();
  113. cout<<"support vector size of SVM:"<<supportVectorSize<<endl;
  114. cout<<"************************ end of training for SVM ******************"<<endl;
  115. CvMat *sv,*alp,*re;//所有样本特征向量
  116. sv = cvCreateMat(supportVectorSize , 1764, CV_32FC1);
  117. alp = cvCreateMat(1 , supportVectorSize, CV_32FC1);
  118. re = cvCreateMat(1 , 1764, CV_32FC1);
  119. CvMat *res = cvCreateMat(1 , 1, CV_32FC1);
  120. cvSetZero(sv);
  121. cvSetZero(re);
  122. for(int i=0; i<supportVectorSize; i++)
  123. {
  124. memcpy( (float*)(sv->data.fl+i*1764), svm.get_support_vector(i), 1764*sizeof(float));
  125. }
  126. double* alphaArr = svm.get_alpha();
  127. int alphaCount = svm.get_alpha_count();
  128. for(int i=0; i<supportVectorSize; i++)
  129. {
  130. alp->data.fl[i] = alphaArr[i];
  131. }
  132. cvMatMul(alp, sv, re);
  133. int posCount = 0;
  134. for (int i=0; i<1764; i++)
  135. {
  136. re->data.fl[i] *= -1;
  137. }
  138. FILE* fp = fopen("c:/hogSVMDetector-peopleFlow.txt","wb");
  139. if( NULL == fp )
  140. {
  141. return 1;
  142. }
  143. for(int i=0; i<1764; i++)
  144. {
  145. fprintf(fp,"%f \n",re->data.fl[i]);
  146. }
  147. float rho = svm.get_rho();
  148. fprintf(fp, "%f", rho);
  149. cout<<"c:/hogSVMDetector.txt 保存完毕"<<endl;//保存HOG能识别的分类器
  150. fclose(fp);
  151. return 1;
  152. }
[cpp] view plaincopy
  1. class Mysvm: public CvSVM  
  2. {  
  3. public:  
  4.     int get_alpha_count()  
  5.     {  
  6.         return this->sv_total;  
  7.     }  
  8.   
  9.     int get_sv_dim()  
  10.     {  
  11.         return this->var_all;  
  12.     }  
  13.   
  14.     int get_sv_count()  
  15.     {  
  16.         return this->decision_func->sv_count;  
  17.     }  
  18.   
  19.     double* get_alpha()  
  20.     {  
  21.         return this->decision_func->alpha;  
  22.     }  
  23.   
  24.     float** get_sv()  
  25.     {  
  26.         return this->sv;  
  27.     }  
  28.   
  29.     float get_rho()  
  30.     {  
  31.         return this->decision_func->rho;  
  32.     }  
  33. };  
  34.   
  35. void Train()  
  36. {  
  37.     char classifierSavePath[256] = "c:/pedestrianDetect-peopleFlow.txt";  
  38.   
  39.     string positivePath = "E:\\pictures\\train1\\pos\\";  
  40.     string negativePath = "E:\\pictures\\train1\\neg\\";  
  41.   
  42.     int positiveSampleCount = 4900;  
  43.     int negativeSampleCount = 6192;  
  44.     int totalSampleCount = positiveSampleCount + negativeSampleCount;  
  45.   
  46.     cout<<"//////////////////////////////////////////////////////////////////"<<endl;  
  47.     cout<<"totalSampleCount: "<<totalSampleCount<<endl;  
  48.     cout<<"positiveSampleCount: "<<positiveSampleCount<<endl;  
  49.     cout<<"negativeSampleCount: "<<negativeSampleCount<<endl;  
  50.   
  51.     CvMat *sampleFeaturesMat = cvCreateMat(totalSampleCount , 1764, CV_32FC1);  
  52.     //64*128的训练样本,该矩阵将是totalSample*3780,64*64的训练样本,该矩阵将是totalSample*1764  
  53.     cvSetZero(sampleFeaturesMat);    
  54.     CvMat *sampleLabelMat = cvCreateMat(totalSampleCount, 1, CV_32FC1);//样本标识    
  55.     cvSetZero(sampleLabelMat);    
  56.   
  57.     cout<<"************************************************************"<<endl;  
  58.     cout<<"start to training positive samples..."<<endl;  
  59.   
  60.     char positiveImgName[256];  
  61.     string path;  
  62.     for(int i=0; i<positiveSampleCount; i++)    
  63.     {    
  64.         memset(positiveImgName, '\0', 256*sizeof(char));  
  65.         sprintf(positiveImgName, "%d.jpg", i);  
  66.         int len = strlen(positiveImgName);  
  67.         string tempStr = positiveImgName;  
  68.         path = positivePath + tempStr;  
  69.   
  70.         cv::Mat img = cv::imread(path);  
  71.         if( img.data == NULL )  
  72.         {  
  73.             cout<<"positive image sample load error: "<<i<<" "<<path<<endl;  
  74.             system("pause");  
  75.             continue;  
  76.         }  
  77.   
  78.         cv::HOGDescriptor hog(cv::Size(64,64), cv::Size(16,16), cv::Size(8,8), cv::Size(8,8), 9);  
  79.         vector<float> featureVec;   
  80.   
  81.         hog.compute(img, featureVec, cv::Size(8,8));    
  82.         int featureVecSize = featureVec.size();  
  83.   
  84.         for (int j=0; j<featureVecSize; j++)    
  85.         {         
  86.             CV_MAT_ELEM( *sampleFeaturesMat, float, i, j ) = featureVec[j];   
  87.         }    
  88.         sampleLabelMat->data.fl[i] = 1;  
  89.     }  
  90.     cout<<"end of training for positive samples..."<<endl;  
  91.   
  92.     cout<<"*********************************************************"<<endl;  
  93.     cout<<"start to train negative samples..."<<endl;  
  94.   
  95.     char negativeImgName[256];  
  96.     for (int i=0; i<negativeSampleCount; i++)  
  97.     {    
  98.         memset(negativeImgName, '\0', 256*sizeof(char));  
  99.         sprintf(negativeImgName, "%d.jpg", i);  
  100.         path = negativePath + negativeImgName;  
  101.         cv::Mat img = cv::imread(path);  
  102.         if(img.data == NULL)  
  103.         {  
  104.             cout<<"negative image sample load error: "<<path<<endl;  
  105.             continue;  
  106.         }  
  107.   
  108.         cv::HOGDescriptor hog(cv::Size(64,64), cv::Size(16,16), cv::Size(8,8), cv::Size(8,8), 9);    
  109.         vector<float> featureVec;   
  110.   
  111.         hog.compute(img,featureVec,cv::Size(8,8));//计算HOG特征  
  112.         int featureVecSize = featureVec.size();    
  113.   
  114.         for ( int j=0; j<featureVecSize; j ++)    
  115.         {    
  116.             CV_MAT_ELEM( *sampleFeaturesMat, float, i + positiveSampleCount, j ) = featureVec[ j ];  
  117.         }    
  118.   
  119.         sampleLabelMat->data.fl[ i + positiveSampleCount ] = -1;  
  120.     }    
  121.   
  122.     cout<<"end of training for negative samples..."<<endl;  
  123.     cout<<"********************************************************"<<endl;  
  124.     cout<<"start to train for SVM classifier..."<<endl;  
  125.   
  126.     CvSVMParams params;    
  127.     params.svm_type = CvSVM::C_SVC;    
  128.     params.kernel_type = CvSVM::LINEAR;    
  129.     params.term_crit = cvTermCriteria(CV_TERMCRIT_ITER, 1000, FLT_EPSILON);  
  130.     params.C = 0.01;  
  131.   
  132.     Mysvm svm;  
  133.     svm.train( sampleFeaturesMat, sampleLabelMat, NULL, NULL, params ); //用SVM线性分类器训练  
  134.     svm.save(classifierSavePath);  
  135.   
  136.     cvReleaseMat(&sampleFeaturesMat);  
  137.     cvReleaseMat(&sampleLabelMat);  
  138.   
  139.     int supportVectorSize = svm.get_support_vector_count();  
  140.     cout<<"support vector size of SVM:"<<supportVectorSize<<endl;  
  141.     cout<<"************************ end of training for SVM ******************"<<endl;  
  142.   
  143.     CvMat *sv,*alp,*re;//所有样本特征向量   
  144.     sv  = cvCreateMat(supportVectorSize , 1764, CV_32FC1);  
  145.     alp = cvCreateMat(1 , supportVectorSize, CV_32FC1);  
  146.     re  = cvCreateMat(1 , 1764, CV_32FC1);  
  147.     CvMat *res  = cvCreateMat(1 , 1, CV_32FC1);  
  148.   
  149.     cvSetZero(sv);  
  150.     cvSetZero(re);  
  151.     
  152.     for(int i=0; i<supportVectorSize; i++)  
  153.     {  
  154.         memcpy( (float*)(sv->data.fl+i*1764), svm.get_support_vector(i), 1764*sizeof(float));      
  155.     }  
  156.   
  157.     double* alphaArr = svm.get_alpha();  
  158.     int alphaCount = svm.get_alpha_count();  
  159.   
  160.     for(int i=0; i<supportVectorSize; i++)  
  161.     {  
  162.         alp->data.fl[i] = alphaArr[i];  
  163.     }  
  164.     cvMatMul(alp, sv, re);  
  165.   
  166.     int posCount = 0;  
  167.     for (int i=0; i<1764; i++)  
  168.     {  
  169.         re->data.fl[i] *= -1;  
  170.     }  
  171.   
  172.     FILE* fp = fopen("c:/hogSVMDetector-peopleFlow.txt","wb");  
  173.     if( NULL == fp )  
  174.     {  
  175.         return 1;  
  176.     }  
  177.     for(int i=0; i<1764; i++)  
  178.     {  
  179.         fprintf(fp,"%f \n",re->data.fl[i]);  
  180.     }  
  181.     float rho = svm.get_rho();  
  182.     fprintf(fp, "%f", rho);  
  183.     cout<<"c:/hogSVMDetector.txt 保存完毕"<<endl;//保存HOG能识别的分类器  
  184.     fclose(fp);  
  185.   
  186.     return 1;  
  187. }  
接着,再给出利用训练好的分类器进行行人检测的参考代码:

[cpp] view plaincopy
  1. void Detect()
  2. {
  3. CvCapture* cap = cvCreateFileCapture("E:\\02.avi");
  4. if (!cap)
  5. {
  6. cout<<"avi file load error..."<<endl;
  7. system("pause");
  8. exit(-1);
  9. }
  10. vector<float> x;
  11. ifstream fileIn("c:/hogSVMDetector-peopleFlow.txt", ios::in);
  12. float val = 0.0f;
  13. while(!fileIn.eof())
  14. {
  15. fileIn>>val;
  16. x.push_back(val);
  17. }
  18. fileIn.close();
  19. vector<cv::Rect> found;
  20. cv::HOGDescriptor hog(cv::Size(64,64), cv::Size(16,16), cv::Size(8,8), cv::Size(8,8), 9);
  21. hog.setSVMDetector(x);
  22. IplImage* img = NULL;
  23. cvNamedWindow("img", 0);
  24. while(img=cvQueryFrame(cap))
  25. {
  26. hog.detectMultiScale(img, found, 0, cv::Size(8,8), cv::Size(32,32), 1.05, 2);
  27. if (found.size() > 0)
  28. {
  29. for (int i=0; i<found.size(); i++)
  30. {
  31. CvRect tempRect = cvRect(found[i].x, found[i].y, found[i].width, found[i].height);
  32. cvRectangle(img, cvPoint(tempRect.x,tempRect.y),
  33. cvPoint(tempRect.x+tempRect.width,tempRect.y+tempRect.height),CV_RGB(255,0,0), 2);
  34. }
  35. }
  36. }
  37. cvReleaseCapture(&cap);
  38. }




0 0