LPB特征分析

背景介绍

局部二值模式(Local binary patterns,LBP)是机器视觉领域中用于描述图像局部纹理特征的算子,具有旋转不变性和灰度不变性等显著的优点。它是由T. Ojala, M.Pietikäinen, 和 D. Harwood [1][2]在1994年提出，LBP在纹理分类问题上是一个非常强大的特征；如果LBP与HOG结合，则可以在一些集合上十分有效的提升检测效果。LBP是一个简单但非常有效的纹理运算符。它将各个像素与其附近的像素进行比较，并把结果保存为二进制数。由于其辨别力强大和计算简单，局部二值模式纹理算子已经在不同的场景下得到应用。LBP最重要的属性是对诸如光照变化等造成的灰度变化的鲁棒性。它的另外一个重要特性是它的计算简单，这使得它可以对图像进行实时分析。本节介绍相关LPB算法特征提取知识。

基本理论

局部二值模式是广泛用于图像分类的一种图像特征，它的特点是，在图像发生光照变化时，提取的特征仍然能够不发生大的改变。提取LBP的过程首先是将原始图像转换为LBP图，然后统计LBP图的LBP直方图，并以这个向量形式的直方图来表示原始的图像。LBP的基本思想是定义于像素的8邻域中,以中心像素的灰度值为阈值,将周围8个像素的值与其比较,如果周围的像素值小于中心像素的灰度值,该像素位置就被标记为0,否则标记为1.每个像素得到一个二进制组合,就像00010011.每个像素有8个相邻的像素点,即有2^8种可能性组合.如下图所示。

因此，LBP操作可以被定义为

其中是中心像素，亮度是；而则是相邻像素的亮度。s是一个符号函数：

这种描述方法使得你可以很好的捕捉到图像中的细节。实际上，研究者们可以用它在纹理分类上得到最先进的水平。正如刚才描述的方法被提出后，固定的近邻区域对于尺度变化的编码失效。所以，使用一个变量的扩展方法，在文献[5]中有描述。主意是使用可变半径的圆对近邻像素进行编码，这样可以捕捉到如下的近邻：

对一个给定的点   ，他的近邻点  可以由如下计算：

其中，R是圆的半径，而P是样本点的个数。这个操作是对原始LBP算子的扩展，所以有时被称为扩展LBP(又称为圆形LBP)。如果一个在圆上的点不在图像坐标上，我们使用他的内插点。计算机科学有一堆聪明的插值方法，而OpenCV使用双线性插值。

LBP的提升版本

原始的LBP提出后，研究人员不断对其提出了各种改进和优化。

圆形LBP算子

基本的LBP算子的最大缺陷在于它只覆盖了一个固定半径范围内的小区域，这显然不能满足不同尺寸和频率纹理的需要。为了适应不同尺度的纹理特征，并达到灰度和旋转不变性的要求，Ojala等对 LBP 算子进行了改进，将 3×3邻域扩展到任意邻域，并用圆形邻域代替了正方形邻域，改进后的 LBP 算子允许在半径为 R 的圆形邻域内有任意多个像素点。从而得到了诸如半径为R的圆形区域内含有P个采样点的LBP算子；

LBP均匀模式LBP (uniform LBP)

基本地LBP算子可以产生不同的二进制模式，对于半径为R的圆形区域内含有P个采样点的LBP算子将会产生P2种模式。很显然，随着邻域集内采样点数的增加，二进制模式的种类是急剧增加的。均匀模式就是一个二进制序列从0到1或是从1到0的变过不超过2次（这个二进制序列首尾相连）。比如：10100000的变化次数为3次所以不是一个uniform pattern。所有的8位二进制数中共有58个uniform pattern.为什么要提出这么个uniform LBP呢，例如：5×5邻域内20个采样点，有2^20＝1,048,576种二进制模式。如此多的二值模式无论对于纹理的提取还是对于纹理的识别、分类及信息的存取都是不利的。同时，过多的模式种类对于纹理的表达是不利的。例如，将LBP算子用于纹理分类或人脸识别时，常采用LBP模式的统计直方图来表达图像的信息，而较多的模式种类将使得数据量过大，且直方图过于稀疏。因此，需要对原始的LBP模式进行降维，使得数据量减少的情况下能最好的代表图像的信息。

为了解决二进制模式过多的问题，提高统计性，Ojala提出了采用一种“等价模式”(Uniform Pattern)来对LBP算子的模式种类进行降维。Ojala等认为，在实际图像中，绝大多数LBP模式最多只包含两次从1到0或从0到1的跳变。因此，Ojala将“等价模式”定义为：当某个LBP所对应的循环二进制数从0到1或从1到0最多有两次跳变时，该LBP所对应的二进制就称为一个等价模式类。如00000000(0次跳变)，00000111(只含一次从0到1的跳变)，10001111(先由1跳到0，再由0跳到1，共两次跳变)都是等价模式类。除等价模式类以外的模式都归为另一类，称为混合模式类，例如10010111(共四次跳变)。通过这样的改进，二进制模式的种类大大减少，而不会丢失任何信息。模式数量由原来的2P种减少为 P ( P-1)+2种，其中P表示邻域集内的采样点数。对于3×3邻域内8个采样点来说，二进制模式由原始的256种减少为58种，即：它把值分为59类，58个uniform pattern为一类，其它的所有值为第59类。这样直方图从原来的256维变成59维。这使得特征向量的维数更少，并且可以减少高频噪声带来的影响。

旋转不变模式LBP

旋转不变模式LBP能够在图片发生一定的倾斜时也能得到相同的结果。它的定义可以看下(注：此图来自于网络)：

我们看到中心点的邻居不再是它上下左右的8个点（补充一句，不一定非要是3*3的邻域，这个自己定，但是邻域大了意味着直方图向量维度的增加），而是以它为圆心的一个圈，规定了这个圆的半径和点的个数，就可以求出各个点的坐标，但是点的坐标不一定是整数，如果是整数那么这个点的像素值就是对应点的值，如果不是整数，就用差值的方式得到。从 LBP 的定义可以看出，LBP 算子是灰度不变的，但却不是旋转不变的。图像的旋转就会得到不同的 LBP值。Maenpaa等人又将 LBP算子进行了扩展，提出了具有旋转不变性的 LBP 算子，即不断旋转圆形邻域得到一系列初始定义的 LBP值，取其最小值作为该邻域的 LBP 值。

如上图所示(注：此图来自于网络)给出了求取旋转不变的 LBP 的过程示意图，图中算子下方的数字表示该算子对应的 LBP值，图中所示的 8 种 LBP模式，经过旋转不变的处理，最终得到的具有旋转不变性的 LBP值为 15。也就是说，图中的 8种 LBP 模式对应的旋转不变的 LBP模式都是 00001111。

上述介绍了几种不同版本的LBP，对LBP特征向量进行提取的步骤,如下所示：

1. 将检测窗口划分为16×16的小区域(cell)；
2. 对于每个cell中的一个像素，将相邻的8个像素的灰度值与其进行比较，若周围像素值大于中心像素值，则该像素点的位置被标记为1，否则为0。这样，3*3邻域内的8个点经比较可产生8位二进制数，即得到该窗口中心像素点的LBP值；
3. 然后计算每个cell的直方图，即每个数字（假定是十进制数LBP值）出现的频率；然后对该直方图进行归一化处理。
4. 最后将得到的每个cell的统计直方图进行连接成为一个特征向量，也就是整幅图的LBP纹理特征向量；

然后便可利用SVM或者其他机器学习算法进行分类了。

参考代码

本节，提供基本LBP和均匀模式LBP实现代码地函数。在此给出测试的源图像。如图所示：

基本LBP代码

void LBP(IplImage* src, IplImage* dst){      int width=src->width;      int height=src->height;      for(int j=1;j<width-1;j++){          for(int i=1;i<height-1;i++){              uchar neighborhood[8]={0};              neighborhood[7] = CV_IMAGE_ELEM( src, uchar, i-1, j-1);              neighborhood[6] = CV_IMAGE_ELEM( src, uchar, i-1, j);              neighborhood[5] = CV_IMAGE_ELEM( src, uchar, i-1, j+1);              neighborhood[4] = CV_IMAGE_ELEM( src, uchar, i, j-1);              neighborhood[3] = CV_IMAGE_ELEM( src, uchar, i, j+1);              neighborhood[2] = CV_IMAGE_ELEM( src, uchar, i+1, j-1);              neighborhood[1] = CV_IMAGE_ELEM( src, uchar, i+1, j);              neighborhood[0] = CV_IMAGE_ELEM( src, uchar, i+1, j+1);              uchar center = CV_IMAGE_ELEM( src, uchar, i, j);              uchar temp=0;                for(int k=0;k<8;k++){                  temp+=(neighborhood[k]>center)*(1<<k);              }              CV_IMAGE_ELEM( dst, uchar, i, j)=temp;          }      }  } 

输出结果为：

UniformPatternLBP代码

void UniformPatternLBP(IplImage* src, IplImage* dst) {      int width=src->width;      int height=src->height;      uchar table[256];   memset(table,0,256);      uchar temp=1;      for(int i=0;i<256;++i)  {          if(getHopCount(i)<=2) {              table[i]=temp;              temp++;          }          // printf("%d\n",table[i]);      }     for(int j=1;j<width-1;j++){          for(int i=1;i<height-1;i++) {              uchar neighborhood[8]={0};              neighborhood[7] = CV_IMAGE_ELEM( src, uchar, i-1, j-1);              neighborhood[6] = CV_IMAGE_ELEM( src, uchar, i-1, j);              neighborhood[5] = CV_IMAGE_ELEM( src, uchar, i-1, j+1);              neighborhood[4] = CV_IMAGE_ELEM( src, uchar, i,   j+1);              neighborhood[3] = CV_IMAGE_ELEM( src, uchar, i+1, j+1);              neighborhood[2] = CV_IMAGE_ELEM( src, uchar, i+1, j);              neighborhood[1] = CV_IMAGE_ELEM( src, uchar, i+1, j-1);              neighborhood[0] = CV_IMAGE_ELEM( src, uchar, i,   j-1);              uchar center = CV_IMAGE_ELEM( src, uchar, i, j);              uchar temp=0;                for(int k=0;k<8;k++){                  temp+=(neighborhood[k]>center)*(1<<k);              }               CV_IMAGE_ELEM( dst, uchar, i, j)=table[temp];          }      }  }

其中函数代码：

int getHopCount(uchar i){      int a[8]={0};      int k=7;      int cnt=0;      while(i){          a[k]=i&1;          i>>=1;          --k;      }      for(int k=0;k<8;++k){          if(a[k]!=a[k+1==8?0:k+1]) {              ++cnt;          }      }      return cnt;  }  

输出结果

其中对应处理后，图像像素值的分布图，如下所示：

参考资料

[1] T. Ojala, M. Pietikäinen, and D. Harwood (1994), "Performance evaluation of texture measures with classification based on Kullback discrimination of distributions", Proceedings of the 12th IAPR International Conference on Pattern Recognition (ICPR 1994), vol. 1, pp. 582 - 585.

[2] T. Ojala, M. Pietikäinen, and D. Harwood (1996), "A Comparative Study of Texture Measures with Classification Based on Feature Distributions", Pattern Recognition, vol. 29, pp. 51-59.

[3] Local Binary Pattern From Wikipedia, the free encyclopedia.

[4] Local Binary Pattern (LBP)methodology in Scholarpedia.

[5] Face Recognition With OpenCV.

关于Image Engineering & Computer Vision的更多讨论与交流，敬请关注本博客和新浪微博songzi_tea.