图像局部特征性质的概述 LPB特征分析

来源：互联网发布：微信页面跳转淘宝app 编辑：程序博客网时间：2024/06/05 08:59

介绍

局部特征一般包含图像中的部分空间范围，与传统意义上的分割不同。局部特征的边界和图像颜色/纹理变化并同有直接的对应关系。在理想情况下，我们总是期待局部特征对应的是客观世界中物体一部分，而在实际情况中是不现实地，这往往我们需要借助于图像处理中对高层场景的理解。介绍图像局部特征的性质。

基本性质

一般地，图像局部特征应具有下列性质。

第一、可重复性。即同一个特体在不同的视角下，两幅图像中对应特征越多越好。它可主要依赖于不变性和鲁棒性。不变性是指局部特征不随图像大的变形而变化。对于大的图像变形往往需要先对这些变形进行建模，然后再设计不受这些变形影响的特征检测算法；鲁棒性(Robustness)是指局部特征对于小的变形应不敏感。这类小的变形包虑图像噪声，离散化效应，压缩，图像模糊，当然还有建模引入的小的几何/成像形变等因素。

第二、独特性。特征的幅值模式需在呈现多样性，这样的特征才能被区分和匹配。

第三、局部性与数量性。局部性即特征应是局部的，从而减少被遮挡的可能性，并且允许用简单的模型来近似两幅图像间的几何和成像变形。数量性，检测到时的特征数目一定要多，即使是小的物体上也有足够的特征，理想的情况是检测到的特征数量在一个比较大的范围内，然后可能通过一个简单的阈值就可以调整。特征的密集度最好能在一定程度上反映图像内容。

第四、准确性与高效性。准确性是能得到的特征应被精确定位，这里定位不仅仅指的是在图像中空间位置，还包含特征的尺度等。高效性是在图像中特征的检测时间效率越高越好，以便用于有实时要求的应用。

参考资料

[1] Richard Szeliski,"Computer Vision:Algorithms and Applications", Microsoft Research, 2010.

*********************************************************************************************************************************

LPB特征分析

背景介绍

局部二值模式(Local binary patterns,LBP)是机器视觉领域中用于描述图像局部纹理特征的算子,具有旋转不变性和灰度不变性等显著的优点。它是由T. Ojala, M.Pietikäinen, 和 D. Harwood [1][2]在1994年提出，LBP在纹理分类问题上是一个非常强大的特征；如果LBP与HOG结合，则可以在一些集合上十分有效的提升检测效果。LBP是一个简单但非常有效的纹理运算符。它将各个像素与其附近的像素进行比较，并把结果保存为二进制数。由于其辨别力强大和计算简单，局部二值模式纹理算子已经在不同的场景下得到应用。LBP最重要的属性是对诸如光照变化等造成的灰度变化的鲁棒性。它的另外一个重要特性是它的计算简单，这使得它可以对图像进行实时分析。本节介绍相关LPB算法特征提取知识。

基本理论

局部二值模式是广泛用于图像分类的一种图像特征，它的特点是，在图像发生光照变化时，提取的特征仍然能够不发生大的改变。提取LBP的过程首先是将原始图像转换为LBP图，然后统计LBP图的LBP直方图，并以这个向量形式的直方图来表示原始的图像。LBP的基本思想是定义于像素的8邻域中,以中心像素的灰度值为阈值,将周围8个像素的值与其比较,如果周围的像素值小于中心像素的灰度值,该像素位置就被标记为0,否则标记为1.每个像素得到一个二进制组合,就像00010011.每个像素有8个相邻的像素点,即有2^8种可能性组合.如下图所示。

因此，LBP操作可以被定义为

其中是中心像素，亮度是；而则是相邻像素的亮度。s是一个符号函数：

这种描述方法使得你可以很好的捕捉到图像中的细节。实际上，研究者们可以用它在纹理分类上得到最先进的水平。正如刚才描述的方法被提出后，固定的近邻区域对于尺度变化的编码失效。所以，使用一个变量的扩展方法，在文献[5]中有描述。主意是使用可变半径的圆对近邻像素进行编码，这样可以捕捉到如下的近邻：

对一个给定的点，他的近邻点可以由如下计算：

其中，R是圆的半径，而P是样本点的个数。这个操作是对原始LBP算子的扩展，所以有时被称为扩展LBP(又称为圆形LBP)。如果一个在圆上的点不在图像坐标上，我们使用他的内插点。计算机科学有一堆聪明的插值方法，而OpenCV使用双线性插值。

LBP的提升版本

原始的LBP提出后，研究人员不断对其提出了各种改进和优化。

圆形LBP算子

基本的LBP算子的最大缺陷在于它只覆盖了一个固定半径范围内的小区域，这显然不能满足不同尺寸和频率纹理的需要。为了适应不同尺度的纹理特征，并达到灰度和旋转不变性的要求，Ojala等对 LBP 算子进行了改进，将 3×3邻域扩展到任意邻域，并用圆形邻域代替了正方形邻域，改进后的 LBP 算子允许在半径为 R 的圆形邻域内有任意多个像素点。从而得到了诸如半径为R的圆形区域内含有P个采样点的LBP算子；

LBP均匀模式LBP (uniform LBP)

基本地LBP算子可以产生不同的二进制模式，对于半径为R的圆形区域内含有P个采样点的LBP算子将会产生P2种模式。很显然，随着邻域集内采样点数的增加，二进制模式的种类是急剧增加的。均匀模式就是一个二进制序列从0到1或是从1到0的变过不超过2次（这个二进制序列首尾相连）。比如：10100000的变化次数为3次所以不是一个uniform pattern。所有的8位二进制数中共有58个uniform pattern.为什么要提出这么个uniform LBP呢，例如：5×5邻域内20个采样点，有2^20＝1,048,576种二进制模式。如此多的二值模式无论对于纹理的提取还是对于纹理的识别、分类及信息的存取都是不利的。同时，过多的模式种类对于纹理的表达是不利的。例如，将LBP算子用于纹理分类或人脸识别时，常采用LBP模式的统计直方图来表达图像的信息，而较多的模式种类将使得数据量过大，且直方图过于稀疏。因此，需要对原始的LBP模式进行降维，使得数据量减少的情况下能最好的代表图像的信息。

为了解决二进制模式过多的问题，提高统计性，Ojala提出了采用一种“等价模式”(Uniform Pattern)来对LBP算子的模式种类进行降维。Ojala等认为，在实际图像中，绝大多数LBP模式最多只包含两次从1到0或从0到1的跳变。因此，Ojala将“等价模式”定义为：当某个LBP所对应的循环二进制数从0到1或从1到0最多有两次跳变时，该LBP所对应的二进制就称为一个等价模式类。如00000000(0次跳变)，00000111(只含一次从0到1的跳变)，10001111(先由1跳到0，再由0跳到1，共两次跳变)都是等价模式类。除等价模式类以外的模式都归为另一类，称为混合模式类，例如10010111(共四次跳变)。通过这样的改进，二进制模式的种类大大减少，而不会丢失任何信息。模式数量由原来的2P种减少为 P ( P-1)+2种，其中P表示邻域集内的采样点数。对于3×3邻域内8个采样点来说，二进制模式由原始的256种减少为58种，即：它把值分为59类，58个uniform pattern为一类，其它的所有值为第59类。这样直方图从原来的256维变成59维。这使得特征向量的维数更少，并且可以减少高频噪声带来的影响。

旋转不变模式LBP

旋转不变模式LBP能够在图片发生一定的倾斜时也能得到相同的结果。它的定义可以看下(注：此图来自于网络)：

我们看到中心点的邻居不再是它上下左右的8个点（补充一句，不一定非要是3*3的邻域，这个自己定，但是邻域大了意味着直方图向量维度的增加），而是以它为圆心的一个圈，规定了这个圆的半径和点的个数，就可以求出各个点的坐标，但是点的坐标不一定是整数，如果是整数那么这个点的像素值就是对应点的值，如果不是整数，就用差值的方式得到。从 LBP 的定义可以看出，LBP 算子是灰度不变的，但却不是旋转不变的。图像的旋转就会得到不同的 LBP值。Maenpaa等人又将 LBP算子进行了扩展，提出了具有旋转不变性的 LBP 算子，即不断旋转圆形邻域得到一系列初始定义的 LBP值，取其最小值作为该邻域的 LBP 值。

如上图所示(注：此图来自于网络)给出了求取旋转不变的 LBP 的过程示意图，图中算子下方的数字表示该算子对应的 LBP值，图中所示的 8 种 LBP模式，经过旋转不变的处理，最终得到的具有旋转不变性的 LBP值为 15。也就是说，图中的 8种 LBP 模式对应的旋转不变的 LBP模式都是 00001111。

上述介绍了几种不同版本的LBP，对LBP特征向量进行提取的步骤,如下所示：

将检测窗口划分为16×16的小区域(cell)；
对于每个cell中的一个像素，将相邻的8个像素的灰度值与其进行比较，若周围像素值大于中心像素值，则该像素点的位置被标记为1，否则为0。这样，3*3邻域内的8个点经比较可产生8位二进制数，即得到该窗口中心像素点的LBP值；
然后计算每个cell的直方图，即每个数字（假定是十进制数LBP值）出现的频率；然后对该直方图进行归一化处理。
最后将得到的每个cell的统计直方图进行连接成为一个特征向量，也就是整幅图的LBP纹理特征向量；

然后便可利用SVM或者其他机器学习算法进行分类了。

参考代码

本节，提供基本LBP和均匀模式LBP实现代码地函数。在此给出测试的源图像。如图所示：

基本LBP代码

[plain] view plaincopyprint?

void LBP(IplImage* src, IplImage* dst){
int width=src->width;
int height=src->height;
for(int j=1;j<width-1;j++){
for(int i=1;i<height-1;i++){
uchar neighborhood[8]={0};
neighborhood[7] = CV_IMAGE_ELEM( src, uchar, i-1, j-1);
neighborhood[6] = CV_IMAGE_ELEM( src, uchar, i-1, j);
neighborhood[5] = CV_IMAGE_ELEM( src, uchar, i-1, j+1);
neighborhood[4] = CV_IMAGE_ELEM( src, uchar, i, j-1);
neighborhood[3] = CV_IMAGE_ELEM( src, uchar, i, j+1);
neighborhood[2] = CV_IMAGE_ELEM( src, uchar, i+1, j-1);
neighborhood[1] = CV_IMAGE_ELEM( src, uchar, i+1, j);
neighborhood[0] = CV_IMAGE_ELEM( src, uchar, i+1, j+1);
uchar center = CV_IMAGE_ELEM( src, uchar, i, j);
uchar temp=0;
for(int k=0;k<8;k++){
temp+=(neighborhood[k]>center)*(1<<k);
}
CV_IMAGE_ELEM( dst, uchar, i, j)=temp;
}
}
}

void LBP(IplImage* src, IplImage* dst){      int width=src->width;      int height=src->height;      for(int j=1;j<width-1;j++){          for(int i=1;i<height-1;i++){              uchar neighborhood[8]={0};              neighborhood[7] = CV_IMAGE_ELEM( src, uchar, i-1, j-1);              neighborhood[6] = CV_IMAGE_ELEM( src, uchar, i-1, j);              neighborhood[5] = CV_IMAGE_ELEM( src, uchar, i-1, j+1);              neighborhood[4] = CV_IMAGE_ELEM( src, uchar, i, j-1);              neighborhood[3] = CV_IMAGE_ELEM( src, uchar, i, j+1);              neighborhood[2] = CV_IMAGE_ELEM( src, uchar, i+1, j-1);              neighborhood[1] = CV_IMAGE_ELEM( src, uchar, i+1, j);              neighborhood[0] = CV_IMAGE_ELEM( src, uchar, i+1, j+1);              uchar center = CV_IMAGE_ELEM( src, uchar, i, j);              uchar temp=0;                for(int k=0;k<8;k++){                  temp+=(neighborhood[k]>center)*(1<<k);              }              CV_IMAGE_ELEM( dst, uchar, i, j)=temp;          }      }  }

输出结果为：

UniformPatternLBP代码

[plain] view plaincopyprint?

void UniformPatternLBP(IplImage* src, IplImage* dst) {
int width=src->width;
int height=src->height;
uchar table[256];
memset(table,0,256);
uchar temp=1;
for(int i=0;i<256;++i) {
if(getHopCount(i)<=2) {
table[i]=temp;
temp++;
}
// printf("%d\n",table[i]);
}
for(int j=1;j<width-1;j++){
for(int i=1;i<height-1;i++) {
uchar neighborhood[8]={0};
neighborhood[7] = CV_IMAGE_ELEM( src, uchar, i-1, j-1);
neighborhood[6] = CV_IMAGE_ELEM( src, uchar, i-1, j);
neighborhood[5] = CV_IMAGE_ELEM( src, uchar, i-1, j+1);
neighborhood[4] = CV_IMAGE_ELEM( src, uchar, i, j+1);
neighborhood[3] = CV_IMAGE_ELEM( src, uchar, i+1, j+1);
neighborhood[2] = CV_IMAGE_ELEM( src, uchar, i+1, j);
neighborhood[1] = CV_IMAGE_ELEM( src, uchar, i+1, j-1);
neighborhood[0] = CV_IMAGE_ELEM( src, uchar, i, j-1);
uchar center = CV_IMAGE_ELEM( src, uchar, i, j);
uchar temp=0;
for(int k=0;k<8;k++){
temp+=(neighborhood[k]>center)*(1<<k);
}
CV_IMAGE_ELEM( dst, uchar, i, j)=table[temp];
}
}
}

void UniformPatternLBP(IplImage* src, IplImage* dst) {      int width=src->width;      int height=src->height;      uchar table[256];   memset(table,0,256);      uchar temp=1;      for(int i=0;i<256;++i)  {          if(getHopCount(i)<=2) {              table[i]=temp;              temp++;          }          // printf("%d\n",table[i]);      }     for(int j=1;j<width-1;j++){          for(int i=1;i<height-1;i++) {              uchar neighborhood[8]={0};              neighborhood[7] = CV_IMAGE_ELEM( src, uchar, i-1, j-1);              neighborhood[6] = CV_IMAGE_ELEM( src, uchar, i-1, j);              neighborhood[5] = CV_IMAGE_ELEM( src, uchar, i-1, j+1);              neighborhood[4] = CV_IMAGE_ELEM( src, uchar, i,   j+1);              neighborhood[3] = CV_IMAGE_ELEM( src, uchar, i+1, j+1);              neighborhood[2] = CV_IMAGE_ELEM( src, uchar, i+1, j);              neighborhood[1] = CV_IMAGE_ELEM( src, uchar, i+1, j-1);              neighborhood[0] = CV_IMAGE_ELEM( src, uchar, i,   j-1);              uchar center = CV_IMAGE_ELEM( src, uchar, i, j);              uchar temp=0;                for(int k=0;k<8;k++){                  temp+=(neighborhood[k]>center)*(1<<k);              }               CV_IMAGE_ELEM( dst, uchar, i, j)=table[temp];          }      }  }

其中函数代码：

[plain] view plaincopyprint?

int getHopCount(uchar i){
int a[8]={0};
int k=7;
int cnt=0;
while(i){
a[k]=i&1;
i>>=1;
--k;
}
for(int k=0;k<8;++k){
if(a[k]!=a[k+1==8?0:k+1]) {
++cnt;
}
}
return cnt;
}

int getHopCount(uchar i){      int a[8]={0};      int k=7;      int cnt=0;      while(i){          a[k]=i&1;          i>>=1;          --k;      }      for(int k=0;k<8;++k){          if(a[k]!=a[k+1==8?0:k+1]) {              ++cnt;          }      }      return cnt;  }

输出结果

其中对应处理后，图像像素值的分布图，如下所示：

参考资料

[1] T. Ojala, M. Pietikäinen, and D. Harwood (1994), "Performance evaluation of texture measures with classification based on Kullback discrimination of distributions", Proceedings of the 12th IAPR International Conference on Pattern Recognition (ICPR 1994), vol. 1, pp. 582 - 585.

[2] T. Ojala, M. Pietikäinen, and D. Harwood (1996), "A Comparative Study of Texture Measures with Classification Based on Feature Distributions", Pattern Recognition, vol. 29, pp. 51-59.

[3] Local Binary Pattern From Wikipedia, the free encyclopedia.

[4] Local Binary Pattern (LBP)methodology in Scholarpedia.

[5] Face Recognition With OpenCV.

0 0