使用opencv进行人脸识别

目录

• 1介绍
• 2人脸识别
• 3数据准备
• 4人脸识别
  • 4.1特征脸（Eigenfaces）
    • 4.1.1PCA计算过程
  • 4.2FisherFaces
  • 4.3局部二值模式直方图（cal Binary Patterns Histograms）
    • 4.3.1LBP发展优化
    • 4.3.2LBP提取特征向量

介绍

从OpenCV2.4开始，加入了新的类FaceRecognizer，我们可以使用它便捷地进行人脸识别实验。本文既介绍代码使用，又介绍算法原理。

目前支持的算法有

Eigenfaces特征脸createEigenFaceRecognizer()

Fisherfaces createFisherFaceRecognizer()

LocalBinary Patterns Histograms局部二值直方图 createLBPHFaceRecognizer()

下面所有的例子中的代码在OpenCV安装目录下的samples/cpp下面都能找到，所有的代码商用或者学习都是免费的。

注：Opencv 3.0以后人脸识别的部分被分离开到opencv_contrib,如果想用人脸识别的类，需要将opencv_contrib 模块添加到Opencv里面，添加方法可查询网络。

人脸识别

对人类来说，人脸识别很容易。仅仅是才三天的婴儿已经可以区分周围熟悉的人脸了。那么对于计算机来说，到底有多难？其实，迄今为止，我们对于人类自己为何可以区分不同的人所知甚少。是人脸内部特征(眼睛、鼻子、嘴巴)还是外部特征(头型、发际线)对于人类识别更有效?我们怎么分析一张图像，大脑是如何对它编码的？我们的大脑针对不同的场景，如线、边、角或者运动这些局部特征有专门的神经细胞作出反应。显然我们没有把世界看成零散的块块，我们的视觉皮层必须以某种方式把不同的信息来源转化成有用的模式。自动人脸识别就是如何从一幅图像中提取有意义的特征，把它们放入一种有用的表示方式，然后对他们进行一些分类。基于几何特征的人脸的人脸识别可能是最直观的方法来识别人脸。

数据准备

我们从网上下了数据，下了我们需要在程序中读取它。

很多网上的事例都介绍使用csv文件来标记图片和对应的标签，这里我们不做这一步，因为我们已经知道每张图片属于哪个类别，CSV文件只是为了更直观的读人脸图片和标签。如果下载的图片文件名是没有规律的，我们可以用Python将文件名修改为特定的组合方式，例如我们读入图片输入正确的图片名和标签，这里也贴出Python3.4的代码。

import osimport os.path#三个参数：分别返回1.父目录 2.所有文件夹名字（不含路径） 3.所有文件名字#输出文件夹信息#输出文件信息#输出文件路径信息#rootdir = 'd:\\code\python_image_learn\identfying_code_recognize\charSamples\charSamples'rootdir = 'Z:\\workSpace\TestForMySelf\opencvTest\study\code\python_image_learn\identfying_code_recognize\charSamples'oldparent = ''i = 0;for parent,dirnames,filenames in os.walk(rootdir):    for dirname in  dirnames:        print ("parent is:" + parent)        print  ("dirname is" + dirname)    for filename in filenames:        if oldparent != parent :            i = 0            oldparent = parent        print ("parent is:" + parent)        print ("filename is:" + filename)        print ("the full name of the file is:" + os.path.join(parent,filename))        os.rename(os.path.join(parent, filename), os.path.join(parent, str(i)+'.png'))        i = i + 1

人脸识别

opencv进行人脸识别的方法有三种。

特征脸（Eigenfaces）

图像表示的问题是他的高维问题。二维灰度图像p*q大小，是一个m=qp维的向量空间，所以一个100*100像素大小的图像就是10，000维的图像空间。问题是，是不是所有的维数空间对我们来说都有用？我们可以做一个决定，如果数据有任何差异，我们可以通过寻找主元来知道主要信息。

其解决方法就是降维，例如上面举例，如果是 100*100像素的图像，就会对应一个有10000维的特征向量，那么如何能有效的把里面的冗余信息给剔除就是该算法的主要用处。该算法也就是著名的PCA，把高维数据降成低维数据，减少处理时间与空间。

PCA计算过程

假设我们有 2维数据如下：

X , Y

M1[2.5 , 2,4]

M2[0.5, 0.7]

M3[2.2, 2.9]

`````````

`````````

M10[1.1, 0.9]

行代表了样例 ，列代表特征 列代表特征 列代表特征 ，这里有 10 个样例 ，每个样例两特征。可以这认 每个样例两特征。可以这认 为，有 10 篇文档 ，x是 10 篇文档中 “learn” 出现的 TF -IDFIDFIDF，y是 10 篇文档中 “study” 出现的 TF -IDF。也可以认为有 有 10 辆汽车 ，x是千米 /小时的速度 ，y是英里 /小时的速 度，等.

第一步：分别求 x和 y的平均值 ，然后对于所有的样例 然后对于所有的样例 然后对于所有的样例 ，都减去对应的均值。这里 都减去对应的均值。这里 都减去对应的均值。这里 x第一步的均值是 1.81 1.81，y的均值是 1.911.91 ，那么一个样例减去均值后即为（ 0.69 0.69 ，0.49 0.49 ），

第二步： 求特征协方差矩阵 ，如果数据是 3维，那么协方差矩阵是

这样 就将原始样例的n维特征变成了K维，这K维就是原始数据特征在K维上的投影。

该处理方法其实是求协防差矩阵的特征值和特征向量，按照特征值大的排序，选取K个特征向量做为映射矩阵。

然后特征脸通过下面的方式进行人脸识别：

A． 把所有的训练数据投影到PCA子空间

B． 把待识别图像投影到PCA子空间

C． 找到训练数据投影后的向量和待识别图像投影后的向量最近的那个（求其欧氏距离）。

Opencv 实现代码：

 #include<opencv2/opencv.hpp> #include<opencv2/core/core.hpp> #include<opencv2/highgui/highgui.hpp> #include <opencv2/ml/ml.hpp> #include <opencv2/face/facerec.hpp> #include<iostream> #include<sstream>using namespace std;using namespace cv;using namespace ml;using namespace face;static Mat norm_0_255(InputArray _src) {     Mat src = _src.getMat();     // 创建和返回一个归一化后的图像矩阵:     Mat dst;     switch(src.channels()) {     case 1:         cv::normalize(_src, dst, 0,255, NORM_MINMAX, CV_8UC1);         break;     case 3:         cv::normalize(_src, dst, 0,255, NORM_MINMAX, CV_8UC3);         break;     default:         src.copyTo(dst);         break;     }     return dst; }  int main()  {      Mat image,testimage;      vector<Mat> images;      vector<int> labels;      string path = "att_faces/";      int num = 0;      int classfilternum = 40;      int modlenum = 10;      for(int i = 1 ; i <= classfilternum ; i++){for(int j = 1; j <= modlenum; j++){ostringstream oss;oss<<path<<i<<"/"<<j<<".pgm";//cout<<oss.str()<<endl;image=imread(oss.str(), 0);images.push_back(image);labels.push_back(i);if(i == 30 && j == 10){ostringstream oss; oss<<path<<i<<"/"<<j<<".pgm";//cout<<oss.str()<<endl;testimage=imread(oss.str(), 0);}if(j == 10){images.pop_back();    labels.pop_back();}}      }imshow("test",testimage);cout<<"images = "<<images.size()<<endl;Ptr<BasicFaceRecognizer> model = createEigenFaceRecognizer(10);     //Ptr<BasicFaceRecognizer> model =  createFisherFaceRecognizer();//Ptr<FaceRecognizer> model = createLBPHFaceRecognizer();model->train(images, labels);int prediclabel;    double confidence;    model->predict(testimage, prediclabel, confidence);      cout << "prediclabel = "<<prediclabel<<"  confidence= "<<confidence << endl;// Here is how to get the eigenvalues of this Eigenfaces model://Mat eigenvalues = model->getEigenValues();//imshow("test1",eigenvalues);// And we can do the same to display the Eigenvectors (read Eigenfaces):    //Mat W = model->getEigenVectors();//imshow("test2",W);// Get the sample mean from the training data    //Mat mean = model->getMean();//imshow("mean", norm_0_255(mean.reshape(1, images[0].rows)));waitKey(0);     return 0;  }

FisherFaces

主成分分析是一种基于特征脸的方法，找到使数据中最大方差的特征线性组合。这是一个表现数据的强大方法，但它没有考虑类别信息，并且在扔掉主元时，同时许多有鉴别的信息都被扔掉。假设你数据库中的变化主要是光照变化，那么PCA此时几乎失效了。线性鉴别分析在降维的同时考虑类别信息，由统计学家 Sir R. A. Fisher发明。在他1936年的文献中，他成功对花进行了分类：The useof multiple measurements in taxonomic problems [Fisher36]。为了找到一种特征组合方式，达到最大的类间离散度和最小的类内离散度。这个想法很简单：在低维表示下，相同的类应该紧紧的聚在一起，而不同的类别尽量距离越远。

该算法的实现大部分是依赖于EigenFace 的实现原理，同时，该算法增加了最大类间离散度S(b)和最小类内离散度S(w)。

S(t) = S(w)的逆 乘以 S(b)

然后求S(t) 的特征值与特征向量，选择最大的K个特征值的特征向量 每个向量转秩作为 映射矩阵，达到降维的目的（该过程与PCA过程一致，所以不做过多介绍）。

Fisherfaces方法学习一个正对标签的转换矩阵，所依它不会如特征脸那样那么注重光照。鉴别分析是寻找可以区分人的面部特征。需要说明的是，Fisherfaces的性能也很依赖于输入数据。实际上，如果你对光照好的图片上学习Fisherfaces，而想对不好的光照图片进行识别，那么他可能会找到错误的主元，因为在不好光照图片上，这些特征不优越。这似乎是符合逻辑的，因为这个方法没有机会去学习光照。

局部二值模式直方图（cal Binary Patterns Histograms）

一些研究专注于图像局部特征的提取。主意是我们不把整个图像看成一个高维向量，仅仅用局部特征来描述一个物体。通过这种方式提取特征，你将获得一个低维隐式。一个好主意！但是你很快发现这种图像表示方法不仅仅遭受光照变化。你想想图像中的尺度变化、形变、旋转—我们的局部表示方式起码对这些情况比较稳健。正如SIFT，LBP方法在2D纹理分析中举足轻重。LBP的基本思想是对图像的像素和它局部周围像素进行对比后的结果进行求和。把这个像素作为中心，对相邻像素进行阈值比较。如果中心像素的亮度大于等于他的相邻像素，把他标记为1，否则标记为0。你会用二进制数字来表示每个像素，比如11001111。因此，由于周围相邻8个像素，你最终可能获取2^8个可能组合，被称为局部二值模式，有时被称为LBP码。第一个在文献中描述的LBP算子实际使用的是3*3的邻域。

LBP发展优化[编辑 | 编辑源代码]

LBP提取特征向量

对LBP图像成m个块，每个块提取直方图。通过连接局部特直方图(而不是合并)然后就能得到空间增强的特征向量。这些直方图被称为局部二值模式直方图。

得到对应的特征向量以后 同样根据前面的方法，求取该图片跟样本的特征向量的欧式距离来判断该图片属于哪一类。