Textons介绍

Textons


    Textons 是指自然图像中基本的微观结构，它是视觉感知初始阶段（预注意阶段）的基元。Textons 的研究在很多问题中都很重要。首先，将一幅图像分解为简单的图像基元能够减少冗余信息，从而设计更好的图像编码算法；其次，基于分解的图像表达方式能压缩图像的维度，减少变量之间的相关性，更有利于图像建模，而图像建模是图像分割和识别中不可或缺的一步；再次，在生物视觉中，自然图像中的微观结构为理解神经元在生物视觉系统初级阶段的功能提供了重要的生理信息。


    调和分析（ harmonic analysis ）是用于图像成分分析的一个重要工具，在数学上它研究的是函数族的分解，傅立叶变换（ Fourier transform ），小波变换（ wavelet transform ）， wedgelets ， ridgelet 和图像分析中的图像塔表示等都属于调和分析的范畴。经过多年的发展，研究者一致认为，图像的最优分解集应该是从全体自然图像中学习得到的。很显然，和傅立叶变换、小波变换等最初处理的数学函数族相比，全体自然图像要复杂得多， 因此，研究自然图像的统计特性和图像的微观结构就显得尤为重要。这里有两个具有代表性的研究工作： 一种研究的重心是自然图像的统计特性，包括研究图像的尺度不变性，小图像块的联合分布，图像滤波器响应的联合直方图或者相关性等。另一种研究是，利用稀疏编码（ sparse coding ）的思想试图从自然图像中学习超完备的图像基底。和傅立叶变换和小波变换所采用的正交基或紧框架不同，这里学习出来的基底有很高相关性。


    Textons 的研究是从第二种研究路线出发的，它试图解决这样一个问题：当图像的超完备基底学习出来之后，在这些基底上最基本的图像微观结构是什么？和物理概念作个类比，假如将稀疏编码中的图像基底比作质子、中子和电子，那么自然图像中的原子、分子是什么？又该如何从图像中学习这些结构？


    Textons 的工作里，我们首先基于图像基元独立同分布的假设，验证了稀疏编码机制中的产生式模型。其次，抛开这个假设，在产生式模型下我们研究了图像基底的空间结构，并且将 texton 定义为由一些具有某种几何和光照信息的图像基底组成的微型模板。


图 １ 是一个星型模式从图像基底到 textons 的表达。






 


b) 星型模式的 texton 模板






 


c) 基底如何组成星型图像 .


图 １. 星型模式从图像基底到 textons 的表达 (Zhu, Guo, Wu and Wang 2002)