Gabor滤波学习总结（资料来源网络）

 

matlab学习：图像频域分析之Gabor滤波

 

来源一 gabor详解

Gabor变换是D.Gabor 1946年提出的。为了由信号的Fourier变换提取局部信息，引入了时间局部化的窗函数，得到了窗口Fourier变换。由于窗口Fourier变换只依赖于部分时间的信号，所以，现在窗口Fourier变换又称为短时Fourier变换，这个变换又称为Gabor变换。

 Gabor优点

Gabor小波与人类视觉系统中简单细胞的视觉刺激响应非常相似。它在提取目标的局部空间和频率域信息方面具有良好的特性。虽然Gabor小波本身并不能构成正交基，但在特定参数下可构成紧框架。Gabor小波对于图像的边缘敏感，能够提供良好的方向选择和尺度选择特性，而且对于光照变化不敏感,能够提供对光照变化良好的适应性。上述特点使Gabor小波被广泛应用于视觉信息理解。

Gabor滤波器和脊椎动物视觉皮层感受野响应的比较：第一行代表脊椎动物的视觉皮层感受野，第二行是Gabor滤波器，第三行是两者的残差。可见两者相差极小。Gabor滤波器的这一性质，使得其在视觉领域中经常被用来作图像的预处理。

 

 Gabor 变换

1．  引言

Gabor变换是D.Gabor 1946年提出的。由于经典Fourier变换只能反映信号的整体特性（时域，频域）。另外，要求信号满足平稳条件。

l        由式可知，要用Fourier变换研究时域信号频谱特性，必须要获得时域中的全部信息；

l        另外，信号在某时刻的一个小的邻域内发生变化，那么信号的整个频谱都要受到影响，而频谱的变化从根本上来说无法标定发生变化的时间位置和发生变化的剧烈程度。也就是说，Fourier变换对信号的齐性不敏感。不能给出在各个局部时间范围内部频谱上的谱信息描述。然而在实际应用中齐性正是我们所关心的信号局部范围内的特性。如，音乐，语言信号等。即：局部化时间分析，图形边缘检，地震勘探反射波的位置等信息极重要。

为此，D.Gabor1946年在他的论文中提出了一种新的变换方法—Gabor变换。

2．  定义

2.1具体窗函数――Gaussaion的 Gabor变换定义式

设函数f为具体的高斯函数，且，则Gabor变换定义为

其中，，是高斯函数，称为窗函数。其中a>0,b>0.

是一个时间局部化的“窗函数”。其中，参数b用于平行移动窗口，以便于覆盖整个时域。

对参数b积分，则有

信号的重构表达式为

Gabor取g(t)为一个高斯函数有两个原因：一是高斯函数的Fourier变换仍为高斯函数，这使得Fourier逆变换也是用窗函数局部化，同时体现了频域的局部化；二是Gabor变换是最优的窗口Fourier变换。其意义在于Gabor变换出现之后，才有了真正意义上的时间－频率分析。即Gabor变换可以达到时频局部化的目的：它能够在整体上提供信号的全部信息而又能提供在任一局部时间内信号变化剧烈程度的信息。简言之，可以同时提供时域和频域局部化的信息。

  2.2窗口的宽高关系

    经理论推导可以得出：高斯窗函数条件下的窗口宽度与高度，且积为一固定值。

 矩形时间――频率窗：宽为，高。

由此，可以看出Gabor变换的局限性：　时间频率的宽度对所有频率是固定不变的。实际要求是：窗口的大小应随频率而变化，频率高窗口应愈小，这才符合实际问题中的高频信号的分辨率应比低频信号的分辨率要低。

3．  离散Gabor变换的一般求法

3.1首先选取核函数

  可根据实际需要选取适当的核函数。如，如高斯窗函数；

则其对偶函数为

                

 

3.2离散Gabor变换的表达式

其中，

　　

    是的对偶函数，二者之间有如下双正交关系。

4．  Gabor变换的解析理论

Gabor变换的解析理论就是由g(t)求对偶函数的方法。

定义g(t)的Zak变换为

可以证明对偶函数可由下式求出：

有了对偶函数可以使计算更为简洁方便。

5．  5.适用条件

①    临界采样Gabor展开要求条件：TΩ=2π；

②    过采样展开要求条件：TΩ≤2π；

当TΩ＞2π时，欠采样Gabor展开，已证明会导致数值上的不稳定。

6．  .应用

    6.1暂态信号检测

如果对信号波形有一定的先验知识且可以据此选取合适的基函数，可以用Gabor变换对信号作精确的检测统计计量。

6.2图象分析与压缩

二维Gabor变换可以应用到图象分析与压缩中。

 

1.  二维Gabor滤波器

 用Gabor 函数形成的二维Gabor 滤波器具有在空间域和频率域同时取得最优局部化的特性，因此能够很好地描述对应于空间频率(尺度)、空间位置及方向选择性的局部结构信息。Gabor滤波器的频率和方向表示接近人类视觉系统对于频率和方向的表示，并且它们常备用于纹理表示和描述。在图像处理领域，Gabor滤波器是一个用于边缘检测的线性滤波器。，在空域，一个2维的Gabor滤波器是一个正弦平面波和高斯核函数的乘积。Gabor滤波器是自相似的，也就是说，所有Gabor滤波器都可以从一个母小波经过膨胀和旋转产生。实际应用中，Gabor滤波器可以在频域的不同尺度，不同方向上提取相关特征。

Gabor滤波器公式化定义 

公式中：

λ：正弦函数波长；

θ：Gabor核函数的方向 

ψ：相位偏移

σ：高斯函数的标准差 

γ： 空间的宽高比（这个没太理解）

 

常用的偶对称二维Gabor滤波器可表示为：

    1.  不同方向下的Gabor滤波器：

　　　　　　　　　　　　　　　　　　　　图1 不同方向上的滤波器

　　在实际应用时，可以根据检测对象的方向趋势，选择合适的方向参数进行滤波。如在检测人脸的五官时，可以根据人脸的偏转角度进行滤波，可以使特征点的定位更加准确。

　　2.  不同频率下的滤波器：

　　　　　　　　　　　　　　　　　　　　　　图2 不同频率下的滤波器

　　从图2可以看出随着的变化，Gabor滤波器中出现了很多宽窄与纹理不同的明暗条纹。当滤波器纹理与图像作用时，滤波器覆盖下的局部纹理频率与滤波器的频率越接近响应就越大，反之越小。

　　3.  人脸光照之Gabor滤波 试验结果:

　　在“人脸光照调整之DCT变换”随笔中，原始图像经过DCT变换处理后，并不能完全去除光照在人脸上分布不均的影响，而且人脸的本真信息也难以被全部表达。为此在DCT变换的基础上，用Gabor滤波对其进行再处理，可以达到更好的结果。

图三 基于DCT变换的Gabor滤波

图四 基于DCT变换的Gabor滤波

　　图三（c）是在（b）图基础上做的Gabor滤波，效果显示已基本完全消除了高曝光对图像的影响。同理，图四（c）的右边脸的光照也被抑制下来。图四（d）是对原始图像直接做Gabor滤波，虽然局部效果较（c）图更清晰，但整体纹理没有（c）图平滑，这样会给后续特征点定位的收敛性带来影响，因此定位效果欠稳定。

　　这两种方法合在一起使用，时间开销还是挺大的，在人脸识别等实时系统中，需要优化或精简。一般情况下，就单比处理效果和稳定性，Gabor要由于DCT变换。因此，在容许情况下，我们可以只取Gabor对图像进行处理。比如，作者在“眼睛定位”随笔中，就只用Gabor滤波对人脸处理，以提高眼睛定位精度。

　　下面，作者再贴几张图，看看这两种方法合在一起时，对AAM的帮助。

图五 光照调整对AAM定位的帮助

　　图五中的（a）图是AAM对原始图像直接定位的结果，（b）图是在去光照后的定位效果。比较两组图像，可以很明显的看到（b）图的定位精度有了大幅度的提高。

参考文献：

 

Gabor滤波小结：http://www.cppblog.com/polly-yang/archive/2012/07/14/183327.aspx

 

人脸光照调整之Gabor滤波：http://www.cnblogs.com/ImageVision/archive/2012/04/09/2439464.html

 

7．  Gabor代码

生成2维Gabor滤波器的matlab 代码：

http://blog.sina.com.cn/s/blog_80853788010103wx.html

http://blog.csdn.net/weixingstudio/article/details/7872764

Opencv实现：

http://www.cppblog.com/polly-yang/archive/2012/07/14/183327.aspx

 

 

来源二 利用Gabor滤波器组提取图像纹理特征

本部分将包含以下四个方面：纹理特征提取方法综述、Gabor滤波器简介、Gabor滤波器组实现纹理特征提取的步骤与实现、存在的问题与改进策略。

 

1、纹理特征提取方法综述^[1]

 

纹理没有准确的定义，但对纹理认识的共识是：①纹理不同于灰度和颜色等图像特征，它通过像素及其周围空间邻域的灰度分布来表现，即局部纹理信息；②局部纹理信息不同程度的重复性，即全局纹理信息。

 

按照纹理特征提取方法所基于的基础理论和研究思路的不同，并借鉴非常流行的Tuceryan和Jain的分类方法，将纹理特征提取方法分为四大家族：统计家族、模型家族、信号处理家族和结构家族。

 

统计家族的方法是基于像元及其邻域的灰度属性，研究纹理区域中的统计特性，或像元及其邻域内的灰度的一阶、二阶或高阶统计特性；在模型家族中，假设纹理是以某种参数控制的分布模型方式形成的，从纹理图像的实现来估计计算模型参数，以参数为特征或采用某种分类策略进行图像分割，因此模型参数的估计是该家族方法的核心问题；信号处理的方法是建立在时、频分析与多尺度分析基础之上，对纹理图像中某个区域内实行某种变换后，再提取保持相对平稳的特征值，以此特征值作为特征表示区域内的一致性以及区域间的相异性；结构家族的方法基于“纹理基元”分析纹理特征，着力找出纹理基元，认为纹理由许多纹理基元构成，不同类型的纹理基元、不同的方向及数目等，决定了纹理的表现形式。信号处理家族的方法从变换域提取纹理特征，其他3个家族直接从图像域提取纹理特征。各个家族的方法既有区别，又有联系。

 

利用Gabor滤波器组提取图像纹理特征，如图所示，可以归结为信号处理家族中小波方法的一个分支。

2、Gabor滤波器简介

 

（1）Gabor变换的创始人

Gabor变换是由Dennis Gabor首先提出，他是一位电子工程师和物理学家，出生于匈牙利，后加入英国国籍。Gabor因发明了全息投影术于1971年获得诺贝尔物理学奖。D. Gabor还被公认为是小波变换的创始人之一。相关代表作有D. Gabor.Theory of communication. Journal of the Institute of Electrical Engineers,93:429–549, 1946，他还提出了Short Time Fourier Transform(1946)。

 

（2）Gabor变换与小波变换和加窗傅里叶变换的关系

如果从Fourier变换的角度来看，Gobor变换就是窗函数取高斯窗时的短时Fourier变换。如果从小波变换的角度来看，Gabor变换就是小波基函数取Gabor基的小波变换。

 

Fourier变换是整体上将信号分解为不同的频率分量（任何信号都可分解为复正弦信号之和），Fourier变换缺乏时间的局部性信息，无法告知某些频率成分发生在哪些时间内。但是Gabor变换中的Gabor基函数包含一个高斯窗函数窗，窗的中心位置可以由我们设定（即设定时域信号取值范围），所以某个信号经过Gabor变换后在Gabor频域的表现与信号时域表现就可以联系起来了。

 

以下一段内容摘自[3]，介绍了二维Gabor滤波器的表示形式，及其Fourier变换的形式。

 

（3）2维 Garbor 滤波器

 

2维Gabor滤波器在空间域是一个被复正弦平面波所调制的高斯核函数，得到的结果是以高斯函数为包络的复正弦平面波。这个2D Gabor滤波器实际就是Gabor变换中的Gaboret（Gabor基函数）。2D Gabor滤波器与图像在空域做卷积等同于对图像做Gabor变换，得到图像在Gabor频域的变换结果。如果换做在Fourier频域做乘积的形式，则应该先把Gabor基和图像分别做Fourier变换后做乘法。

 

以下一段内容摘自[4]，描述了2D Gabor基函数的构成。后面的插图形象地描述了Gabor滤波器在空间的表现形式。

Gabor滤波方法的主要思想是：不同纹理一般具有不同的中心频率及带宽，根据这些频率和带宽可以设计一组Gabor滤波器对纹理图像进行滤波，每个Gabor滤波器只允许与其频率相对应的纹理顺利通过，而使其他纹理的能量受到抑制，从各滤波器的输出结果中分析和提取纹理特征，用于之后的分类或分割任务。Gabor滤波器提取纹理特征主要包括两个过程：①设计滤波器(例如函数、数目、方向和间隔)；②从滤波器的输出结果中提取有效纹理特征集。Gabor滤波器是带通滤波器，它的单位冲激响应函数(Gabor函数)是高斯函数与复指数函的乘积。它是达到时频测不准关系下界的函数，具有最好地兼顾信号在时频域的分辨能力。

 

3、Gabor滤波器组实现纹理特征提取的步骤与实现

 

（1）将输入图像分为3×3（9块）和4×4（16块）的图像块；

（2）建立Gabor滤波器组：选择4个尺度，6个方向，这样组成了24个Gabor滤波器；

（3）Gabor滤波器组与每个图像块在空域卷积，每个图像块可以得到24个滤波器输出，这 些输出是图像块大小的图像，如果直接将其作为特征向量，特征空间的维数会很大，       所以需要“浓缩”；

（4）每个图像块经过Gabor滤波器组的24个输出，要“浓缩”（文中提到“average filter    responses within the block”我的理解是取灰度均值）为一个24×1的列向量作为该图像       块的纹理特征。查阅相关文献，发现也可以用方差。

 

利用一幅真实图像，按照文献原文所说，利用4scales*6orientations的Gabor滤波器组进行纹理特征提取，可以有效获得图像纹理信息。其中，单独拿出某组相同scale的结果，展示如下所示。

 

由于原始图像中食物的纹理主要集中在竖直方向且位置靠中间，而盘子与桌面间的纹理分部于各个方向且位置在四周。从变换后结果我们可以看出，当滤波器方向与图中纹理方向越吻合时，输出图像的能量越大，这也证实了Gabor滤波器的性质。

 

4、存在的问题与改进策略

 

（1）Gabor滤波器组的参数需要优化：尺度scale、角度orientation、复正弦频率f，怎么取  最合理？

要根据实际图像中纹理的特点，可以先进行样本学习，然后由算法自动选取滤       波    器组参数。

（2）Gabor空域模板怎么取最合理？

可以参考文献[3]，但期待更实用的方法。

（3）Gabor滤波后输出的是图像，怎样选取特征向量最合适？

参考文献中使用了均值作为滤波器输出的特征。阅读其他相关文献后发现使用均值和方       差会保留更多的图像信息，且特征向量仅增加了一维。也可以考虑其他更好的提取输出       图像特征向量的方法。

（4）Gabor滤波之前如果先进行边缘提取，得到的特征是否会更准确？

我们的目的就是要提取纹理特征，所以事先对图像预处理，突出纹理特征应该有助于    Gabor滤波器进一步提取纹理特征。但是，预处理的同时，如盘子、桌面等背景信息的    纹理也被突显了，这可能会给提取前景特征带来干扰。

 

参考文献：

1、刘丽 匡纲要，图像纹理特征提取方法综述，中国图象图形学报，V01．14，No．4

Apr．，2009

2、特征提取——Gabor滤波器及其应用[讲义]，华南理工大学电子与信息学院。

3、韩润萍，孙苏榕，姜玲，Gabor滤波器二维卷积模板的获取方法，微计算机信息(管控一体化)2007年第23卷第2-3期

4、JavierR.Movellan，Tutorial on Gabor Filters

5、林明秀，董学志，宋建中，Gabor小波目标特征提取和跟踪方法的研究，光电工程 V01．3l Dec2004