LBP算法

LBP(Local Binary Patterns)，即局部二值模式，是一种描述图像局部空间结构的非参数算子。芬兰Oulu大学的T.Ojala等人于1996年提出这个算子用来分析图像纹理特征，并且描述了它在纹理分类中的强区分能力。LBP算子定义为一种灰度尺度不变的纹理算子，是从局部邻域纹理的普通定义得来的。
基本思想是：用中心像素的灰度值作为阈值，与它的邻域相比较得到的二进制码来表述局部纹理特征。
在纹理分析方面，LBP算子是最好的纹理描述符之一，它的主要优点有以下几点：

• 通过它的定义可知，LBP算子的灰度尺度不随任何单一变换而变化，因此灰度尺度的鲁棒性好，也就是光照条件下的鲁棒性好；
• 计算速度快。由于它可以通过在小邻域内进行比较操作得到，使得在复杂的实时条件下分析图像成为可能；
• 由于LBP算子是一种无参数(Non-Parametric)的方法，在应用过程中不需要对它的分布进行预先假设。

1.原始LBP算法

一个LBP操作可以被定义为

LBP(xc,yc)=∑p−1p=02ps(ip−ic)
其中，(xc,yc)代表3x3邻域的中心元素，它的像素值为ic，邻域内其他像素的值为ip。s(x)为符号算子，

s(x)={10ifx≥0else

2.改进LBP算法

（1）圆形LBP算子

基本的 LBP算子的最大缺陷在于它只覆盖了一个固定半径范围内的小区域，这显然不能满足不同尺寸和频率纹理的需要。为了适应不同尺度的纹理特征，并达到灰度和旋转不变性的要求，Ojala等对 LBP 算子进行了改进，将 3×3邻域扩展到任意邻域，并用圆形邻域代替了正方形邻域，改进后的 LBP 算子允许在半径为 R 的圆形邻域内有任意多个像素点。从而得到了诸如半径为R的圆形区域内含有P个采样点的LBP算子。比如下图定了一个5x5的邻域：

上图内有八个黑色的采样点，每个采样点的值可以通过下式计算：

⎧⎩⎨⎪⎪xp=xc+Rcos(2πpP)yp=yc+Rsins(2πpP)

其中(xc,yc)为邻域中心点，(xp,yp),p∈P为某个采样点。通过上式可以计算任意个采样点的坐标，但是计算得到的坐标未必完全是整数，所以可以通过双线性插值来得到该采样点的像素值：

f(x,y)≈[1−xx][f(0,0)f(1,0)f(0,1)f(1,1)][1−yy]

(2)LBP等价模式

一个LBP算子可以产生不同的二进制模式，对于半径为R的圆形区域内含有P个采样点的LBP算子将会产生2^P种模式。很显然，随着邻域集内采样点数的增加，二进制模式的种类是急剧增加的。例如：5×5邻域内20个采样点，有220＝1,048,576种二进制模式。如此多的二值模式无论对于纹理的提取还是对于纹理的识别、分类及信息的存取都是不利的。同时，过多的模式种类对于纹理的表达是不利的。例如，将LBP算子用于纹理分类或人脸识别时，常采用LBP模式的统计直方图来表达图像的信息，而较多的模式种类将使得数据量过大，且直方图过于稀疏。因此，需要对原始的LBP模式进行降维，使得数据量减少的情况下能最好的代表图像的信息。
为了解决二进制模式过多的问题，提高统计性，Ojala提出了采用一种“等价模式”（Uniform Pattern）来对LBP算子的模式种类进行降维。Ojala等认为，在实际图像中，绝大多数LBP模式最多只包含两次从1到0或从0到1的跳变。因此，Ojala将“等价模式”定义为：当某个LBP所对应的循环二进制数从0到1或从1到0最多有两次跳变时，该LBP所对应的二进制就称为一个等价模式类。如00000000（0次跳变），00000111（只含一次从0到1的跳变），10001111（先由1跳到0，再由0跳到1，共两次跳变）都是等价模式类。除等价模式类以外的模式都归为另一类，称为混合模式类，例如10010111（共四次跳变）。
通过这样的改进，二进制模式的种类大大减少，而不会丢失任何信息。模式数量由原来的2P种减少为 P ( P-1)+2种，其中P表示邻域集内的采样点数。对于3×3邻域内8个采样点来说，二进制模式由原始的256种减少为58种，这使得特征向量的维数更少，并且可以减少高频噪声带来的影响。

3.LBP特征匹配

如果将以上得到的LBP值直接用于人脸识别，其实和不提取LBP特征没什么区别，会造成计算量准确率等一系列问题。将一副人脸图像分为7x7的子区域（如下图），并在子区域内根据LBP值统计其直方图，以直方图作为其判别特征。这样做的好处是在一定范围内避免图像没完全对准的情况，同时也对LBP特征做了降维处理。

对于得到的直方图特征，有多种方法可以判别其相似性，假设已知人脸直方图为Mi，待匹配人脸直方图为Si，那么可以通过:

(1)直方图交叉核方法

D(S,M)=∑imin(Si,Mi)

参考资料见：Histogram intersection(Pyramid Match Kernel)

(2)卡方统计方法

χ2(S,M)=∑i(Si−Mi)2Si+Mi

参考资料见：Chi square statistic

4.代码实现

// LBP.cpp : 定义控制台应用程序的入口点。///*********************************************************************** * OpenCV 2.4.4 测试例程***********************************************************************/#include "stdafx.h"#include <opencv2/opencv.hpp>#include  <cv.h> #include  <highgui.h>#include  <cxcore.h>using namespace std;using namespace cv;//原始的LBP算法//使用模板参数template <typename _Tp> staticvoid olbp_(InputArray _src, OutputArray _dst) {    // get matrices    Mat src = _src.getMat();    // allocate memory for result    _dst.create(src.rows-2, src.cols-2, CV_8UC1);    Mat dst = _dst.getMat();    // zero the result matrix    dst.setTo(0);    cout<<"rows "<<src.rows<<" cols "<<src.cols<<endl;    cout<<"channels "<<src.channels();    getchar();    // calculate patterns    for(int i=1;i<src.rows-1;i++) {        cout<<endl;        for(int j=1;j<src.cols-1;j++) {            _Tp center = src.at<_Tp>(i,j);            //cout<<"center"<<(int)center<<"  ";            unsigned char code = 0;            code |= (src.at<_Tp>(i-1,j-1) >= center) << 7;            code |= (src.at<_Tp>(i-1,j  ) >= center) << 6;            code |= (src.at<_Tp>(i-1,j+1) >= center) << 5;            code |= (src.at<_Tp>(i  ,j+1) >= center) << 4;            code |= (src.at<_Tp>(i+1,j+1) >= center) << 3;            code |= (src.at<_Tp>(i+1,j  ) >= center) << 2;            code |= (src.at<_Tp>(i+1,j-1) >= center) << 1;            code |= (src.at<_Tp>(i  ,j-1) >= center) << 0;            dst.at<unsigned char>(i-1,j-1) = code;            //cout<<(int)code<<" ";            //cout<<(int)code<<endl;        }    }}//基于旧版本的opencv的LBP算法opencv1.0void LBP (IplImage *src,IplImage *dst){    int tmp[8]={0};    CvScalar s;    IplImage * temp = cvCreateImage(cvGetSize(src), IPL_DEPTH_8U,1);    uchar *data=(uchar*)src->imageData;    int step=src->widthStep;    cout<<"step"<<step<<endl;    for (int i=1;i<src->height-1;i++)      for(int j=1;j<src->width-1;j++)      {          int sum=0;          if(data[(i-1)*step+j-1]>data[i*step+j])            tmp[0]=1;          else            tmp[0]=0;          if(data[i*step+(j-1)]>data[i*step+j])            tmp[1]=1;          else            tmp[1]=0;          if(data[(i+1)*step+(j-1)]>data[i*step+j])            tmp[2]=1;          else            tmp[2]=0;          if (data[(i+1)*step+j]>data[i*step+j])            tmp[3]=1;      else            tmp[3]=0;          if (data[(i+1)*step+(j+1)]>data[i*step+j])            tmp[4]=1;          else            tmp[4]=0;          if(data[i*step+(j+1)]>data[i*step+j])            tmp[5]=1;          else            tmp[5]=0;          if(data[(i-1)*step+(j+1)]>data[i*step+j])            tmp[6]=1;          else            tmp[6]=0;          if(data[(i-1)*step+j]>data[i*step+j])            tmp[7]=1;          else            tmp[7]=0;             //计算LBP编码            s.val[0]=(tmp[0]*1+tmp[1]*2+tmp[2]*4+tmp[3]*8+tmp[4]*16+tmp[5]*32+tmp[6]*64+tmp[7]*128);        cvSet2D(dst,i,j,s);写入LBP图像      }}int _tmain(int argc, _TCHAR* argv[]){    //IplImage* face = cvLoadImage("D://input//yalefaces//01//s1.bmp",CV_LOAD_IMAGE_ANYDEPTH | CV_LOAD_IMAGE_ANYCOLOR);    IplImage* face = cvLoadImage("D://input//lena.jpg",CV_LOAD_IMAGE_ANYDEPTH | CV_LOAD_IMAGE_ANYCOLOR);    //IplImage* lbp_face =   cvCreateImage(cvGetSize(face), IPL_DEPTH_8U,1);    IplImage* Gray_face = cvCreateImage( cvSize( face->width,face->height ), face->depth, 1);//先分配图像空间    cvCvtColor(face, Gray_face ,CV_BGR2GRAY);//把载入图像转换为灰度图    IplImage* lbp_face =   cvCreateImage(cvGetSize(Gray_face), IPL_DEPTH_8U,1);//先分配图像空间    cvNamedWindow("Gray Image",1);    cvShowImage("Gray Image",Gray_face);    //Mat face2 = imread("D://input//buti.jpg",CV_LOAD_IMAGE_ANYDEPTH | CV_LOAD_IMAGE_ANYCOLOR);    Mat face2 = imread("D://input//yalefaces//01//s1.bmp",CV_LOAD_IMAGE_ANYDEPTH | CV_LOAD_IMAGE_ANYCOLOR);    //Mat Gray_face2 = Mat::zeros(face2.size(),IPL_DEPTH_8U,1);    //cvCvtColor(face2,Gray_face2,CV_BGR2RAY);    Mat lbp_face2 = Mat::zeros(face2.size(),face2.type()) ;    //Mat::copyTo(lbp_face,face);    //显示原始的输入图像    cvNamedWindow("Src Image",CV_WINDOW_AUTOSIZE);    cvShowImage("Src Image",face);    //imshow("Src Image",face);    //计算输入图像的LBP纹理特征    LBP(Gray_face,lbp_face);    //olbp_<uchar>((Mat)face,(Mat)lbp_face);//有问题的调用    olbp_<uchar>(face2,lbp_face2);    //显示第一幅图像的LBP纹理特征图    cvNamedWindow("LBP Image",CV_WINDOW_AUTOSIZE);    cvShowImage("LBP Image",lbp_face);    //显示第二幅图 的LBP纹理特征图-一张yaleface人脸库中的人脸LBP特征图    namedWindow("LBP Image2",1);    imshow("LBP Image2",lbp_face2);    waitKey();    //cvReleaseImage(&face);    cvDestroyWindow("Src Image");    return 0;}