纹理特征之（一） LBP

   LBP(Local Binary Pattern, 局部二值模式)是一种用来描述图像局部纹理特征的算子；显然，它的作用是进行特征提取，而且，提取的特征是图像的纹理特征，并且，是局部的纹理特征；

 

    原始的LBP算子定义为在3*3的窗口内，以窗口中心像素为阈值，将相邻的8个像素的灰度值与其进行比较，若周围像素值大于中心像素值，则该像素点的位置被标记为1，否则为0。这样，3*3领域内的8个点可产生8bit的无符号数，即得到该窗口的LBP值，并用这个值来反映该区域的纹理信息。如下图所示：

 

       

    原始的LBP提出后，研究人员不断对其提出了各种改进和优化，从而得到了诸如半径为R的圆形区域内含有P个采样点的LBP算子；LBP均匀模式；LBP旋转不变模式；LBP等价模式等等，具体请参考T. Ojala在IEEE TPAMI上2002年发表的那篇文章“Multiresolution Gray-Scale and Rotation Invariant Texture Classification with Local Binary Patterns”。另外，LBP算子的中文参考文章，可以参考以下：

（1）基于LBP的人脸识别研究，黄非非，重庆大学硕士毕业论文，2009年

（2）基于LBP的特征提取研究，王玲，北京交通大学硕士毕业论文，2009年

（3）基于局部二值模式的人脸识别方法研究，周凯，中南大学硕士毕业论文，2009年

 

    显而易见的是，上述提取的LBP算子在每个像素点都可以得到一个LBP“编码”，那么，对一幅图像提取其原始的LBP算子之后，得到的原始LBP特征依然是“一幅图片”。不过，这里我们已经将物体从图片（图片可以理解为物体在原始测量空间得到的测量特征）转换为二次特征，也就是得到了我们通常说的“特征”。不过，这个所谓的“特征”并不能直接用于判别分析。因为，从上面的分析我们可以看出，这个“特征”跟位置信息是紧密相关的。直接对两幅图片提取这种“特征”，并进行判别分析的话，会因为“位置没有对准”而产生很大的误差。后来，研究人员发现，可以将一幅图片划分为若干的子区域，对每个子区域内的每个像素点都提取LBP特征，然后，在每个子区域内建立LBP特征的统计直方图。如此一来，每个子区域，就可以用一个统计直方图来进行描述；整个图片就由若干个统计直方图组成；例如：一幅100*100像素大小的图片，划分为10*10=100个子区域，每个子区域的大小为10*10像素；在每个子区域内的每个像素点，提取其LBP特征，然后，建立统计直方图；这样，这幅图片就有10*10个子区域，也就有了10*10个统计直方图，利用这10*10个统计直方图，就可以描述这幅图片了。之后，我们利用各种相似性度量函数，就可以判断两幅图像之间的相似性了；

    目前，LBP局部纹理提取算子，已经成功应用在指纹识别、字符识别、人脸识别、车牌识别等领域。

                        

     纹理分类是一个很老的topic，但是一些纹理分类的方法为以后的图片分类奠定了基础。首先定义一下纹理图片，他是一个随一下变量变化的函数：纹理表面材质，反射率，光照，照相机和他的角度。现在纹理分类比较流行的有两种方法：一个是全局特征，如lbp，gabor，另一种是基于局部特征的，如：harris-laplace，基于局部特征的方法主要基于texton的框架，也就是现在图片分类的bag-of-words框架。

         今天我们先介绍一下基于全局的特征，全局特征当属LBP最牛最简单有效，下面我们来介绍一下lbp及其变种。

1. LBP

     以R为半径的P点邻域，gc为中心，gp为邻域点 ;区分邻域比中心亮度大还是小

                                                                            

                                                        

                                                               

可以通过改变改变P,R 形成多尺度LBP。

2. uniform LBP    P*(P-1)+2个

    二值编码中0-1转换次数小于或等于2的编码；  U<=2:

                                                          

P=8，7*8+2=58个编码值，其余的U>2的归为一个bin

                                                          

3. 旋转不变的LBP ： 36个

      由于编码的起始点是一定的，每一种二值编码模式经旋转（循环位移）后会产生不同的编码结果。为了形成旋转不变的编码模式，我们让有同一编码模式经旋转后产生的编码结果编码为同一值，即这些旋转结果中的最小值

                            

 36个旋转不变的LBP编码模式：

                                                     

4. 旋转不变的uniform LBP   P+1个

      即在uniform LBP中，开始7行的每一行为旋转不变，被编为一个编码值，对应上图中第一行的1-7个模式。再加上 全1和全0  共9个

                                                   

 ----------------------------------------------以上就是经典的LBP了，下面介绍一些变种-------------------------------------------

一． 增加幅值信息，增加对噪声鲁棒性

1. LTP 

     对二值化设定阈值 

     三值编码：使相对中心值变化在t范围内的邻域量化为0；比ic大于t的量化为1；比ic小于t的量化为-1

                                               

                                                   

最后把三值编码转化为正的和负的两部分，2个8bit编码作为特征向量；

                                                      

2. CLBP

     像素值差分为符号和幅值两项考虑 ，对符号的编码CLBP_S和LBP一样 （ 8位）

                                                                            

                                                                  

对差的幅值Mp编码（8位）：  C为全图像的所有mp的均值

                                                    

 对中心象数值gc编码（2位）：Ci为全图像象数均值

                                                                          

最后构建3D联合直方图CLBP_S/M/C ，列化作为特征向量。

 二． 加入局部方差信息（局部对比度）

                                              

1.  

      在训练集上得到局部方差的量化阈值，对局部方差进行量化，与计算联合直方图，缺点：由于训练和测试图片成像条件不同，训练的量化阈值可能在测试图片上不适合。

2.  LBP-V

      将每个点的方差作为编码值的权重，进行直方图累加（类比sitf中按方向累计梯度幅值）。原理：方差大，对应区域变化大，为高频区域，对区分性贡献大，所以对应该处编码权重大

                                                              

三． 增加局部梯度信息（类比SIFT）

1. CS-LBP

      对中心对称点的亮度差编码，即编码四方向的梯度符号，缩短编码长度

                                                       

                                                      

2. TP-LBP

     编码某中心像数点的相邻patch的相似度 提取patch-based的信息，是对pixels-based的信息的补充中心patch和邻域patch大小为w*w；邻域半径r，邻域patch个数S，提取相似度信息的邻域间隔a，d(a,b)为a，b patch的相似度，编码局部patch的变化程度

                                                               

                                                                                           

                                                                       

3. POEM

     编码局部区域个方向patch内的梯度变化信息

       （1） 计算梯度：方向和大小，对方向离散化m个

       （2） 对每点，按离散方向，累积半径为r邻域内的梯度幅值（高斯加权），形成m个累积梯度幅值图像

       （3） 对每个图像，计算半径R，邻域P的LBP，形成m个LBP

                                                       

4. LDP

     编码每点的各方向边缘响应强度的变化

（1） 计算8方向边缘响应

                                             

（2） 取第K主方向值Mk（即第k大的边缘响应幅值）作为阈值，进行二值化形成编码。有C_8_k种编码值

                                          

四． 对U-LBP的改进

1. H-LBP

   层叠的多多尺度LBP

    ULBP将U>2的编码都对归入到一个bin中，丢失了其中的区分信息。半径越大非uniform编码出现频率越高，而大半径中为非uniform的编码在小半径时可能为uniform形式，此时把其编码换为小半径中uniform形式，直至半径缩小为指定大小

                                                

                                                  

关于LBP的变形还有很多种，这里就不一一赘述了！本篇博客非常感谢陈雪师妹提供的资料！