静态背景分割方法的比较
摘要：在静态或运动补偿的照相机中，静态背景分割方法能应用于从背景分割出有意义的前景物体。尽管提出了许多方法，但通用的评价是不可行的（a general assessment of the state of the art isnotavailable）。一个重要问题是以质量（精度）和计算复杂度（时间和内存占用）来比较各种现有的方法。选择最近技术中具有代表性的方法来应用和相互比较。一个巨大的视频集用于完成所有的结果，室内和户外视频都具有不同的环境条件。把视觉分析用于质量的主观评价，把基于像素级的可用地面真实数据用于客观评价。而且计算复杂度是通过计算每个算法的消耗时间和内存需求来估计的。本文评价了各种技术的优缺点；而且，这对在这个领域里为特殊环境和方向的深入研究选择一个优化的方法具有很好的指导意义。
1. 介绍
将移动对象分割的视频分割引起了图像和视频处理领域里许多研究者的关注，因为它在许多应用中起着非常重要的作用，比如监督系统、交通监控、基于对象的压缩。尽管视频分割被研究了几十年，但它对计算机自动地和精确地从视频序列中分割出移动对象仍然是困难的。这个所谓的时空分割结合了空域方法（基于图像分割）和时域方法（视觉流、图像差分）。这个技术的选择极大地依靠于环境条件和应用。
在一些情况下（静态相机或运动补偿照相机），假定背景是固定不动的，变化是由前景对象单一引起的。这种假设会产生出特殊情况下的静态背景分割方法，即利用基于背景和实际帧差分方法来获取有意义的前景物体。
尽管许多算法是针对特殊领域，当前已有方法是综合评价还是不可行。这主要是由不同应用要求和使用环境特征所造成的。既然把分割作为以后分析的初步处理，就需要对不同方法作一个客观的比较，来为特定环境挑选出最合适的方法。因此，我们的任务就是以分割质量（所获对象模型的精度）和分割复杂度（时间和内存消耗）来比较目前已有的方法。
2. 现状
⑴图像差分（Image Differencing1982）
简单的图像差分是第一种方法，结果仅仅依赖于阈值的选取，这在不同的算法，比如OTSU, PUN等中使用过。
⑵Haritaoglu （1998）
Haritaoglu是所有研究方法中的一种，它只用于灰度的信息。首先，用一定数量的帧生成一个背景模型，这里每个像素用三个值来描述。这三个值是：最小亮度（M: Minimalintensity）、最大亮度（N:Maximalintensity）、两个连续帧的最大差分值。用当前图像和M图像与N图像计算差分图像。这些结果用来分类，如果差分值大于最大帧内差分值，就赋予前景图像像素。在二值化后，需要采用一些后加工步骤来消除噪声。而且，为了考虑瞬时的环境变化，已分出的背景图像用来更新背景模板。
⑶Francois （1999）
Francois假设在背景中只有非常慢的全局变化能被获得，以后每个像素的颜色值在RGB空间中建立一个范围群（spherecluster）。出于这样的假设，背景模板成为一个由对每个像素的均值与标准方差产生的高斯分布。在Francois系统中，HSV颜色空间替换了RGB空间，均值模板与每个像素的差分值相减得到的当前图像给出了与标准方差模型一致的前景或背景的分类信息。而且，也给出了一个背景模板的更新。
⑷Horprasert （1999）
Horprasert假设在RGB空间通过生成一个新颜色模型使得亮度和色度不得不分离。所以，这里就有一条期望的染色线（chromaticity），这里的像素值应该保留。期望的染色线通过在一些背景图像中计算每个像素RGB值的算术平均值来获得。由这条线产生的失真是有标准方差产生的色度和亮度失真。针对这些失真，设置一些阈值来分类下面这些类型的像素：前景、背景、阴影和高亮背景。通过这个，一幅输入图像能被分成这些里面的一种。
⑸Mckenna （2000）
与Francois假设类似，Mckenna也用均值和标准方差来对背景建模。然而，这个系统考虑到归一化rgb颜色空间和边缘。对每个通道生成模型，分别来计算颜色模型和边缘模型。共同的问题是，当前图像从边缘图像和rgb图像转化成一个合适的，边缘图像与rgb图像分别用于以后的分类。至少两个分类结果的结合给出最终的分割任务。
⑹Jabri （2000）
Jabri系统用到类似于Mckenna中的颜色和边缘信息。通过计算每个颜色通道的每个像素的均值和标准方差，在前面两者中训练背景模板，随着每个通道的输入当前图像的减少，具有颜色和边缘信息的置信图（confidencemap）会被生成。在这之后，通过取最大值来利用两个图的交点，至少这个结果是全局阈值二值化的结果。
⑺Cavallaro （2001）
对使用的YCbCr颜色空间的每个通道，对图像与背景和当前图像进行差分。对每个初始结果，使用Sobel算子进行边缘检测。然后所有子结果融合到一起，在这里仍然会有检测的边缘不是一个封闭的整个轮廓这样的问题。因此，需要后加工步骤，比如形态学操作，来得到最后的结果。
⑻Hong （2003）
Hong也是对背景建模，但这次采用了众所周知的RGB和归一化rgb两种颜色。正如先前方法提出的一样，再次使用均值和标准方差，要对每种颜色元素计算。每个颜色空间有自己的分类部分，在这里当前图像被首次在每个颜色空间中转化。在每个颜色空间中，像素被分成四类。Hong是仅有的一个把像素分成多于两类的方法。
⑼Shen （2004）
Shen使用众所周知的RGB颜色空间，该系统能被表示成两部分。一部分是模糊分类生成的块，另一部分是错误检测分割区域而被消除的块。
采用模型分类是考虑到像素精确地移动，而不是所谓的二进制分类。因此，在模糊块中，对每个RGB颜色空间元素生成一个差分图像。对每个通道结果，对考虑到的移动像素模糊集采用单峰分布阈值化方法来得出一个对应的阈值，然后这些阈值有利于生成模糊图像，这些图像至少是由一个最终模糊图像结合而成的。随后，通过阈值化来得到一个初始模型，它描述了所有检测到的移动像素。
为了克服亮度变化问题，虽然还没有一个瞬间适应的更新背景，将时域信息和上面提到的模糊颜色分类结合被提出来。时域信息通过对连续帧之间的图像差分和最后的模型进行OR操作来获得，输出与模糊分类块的初始模型结合起来。
3. 实验
① 分割质量（Segmentation quality）
客观质量：为了对分割质量作一个客观评价，使用了ground truth basedmeasures。尽管存在一些感知测量，我们仅仅使用了基于像素的方法。当真的正值产生一定数量的正确检测出的前景像素时，真的负值也产生一定数量的正确识别的背景像素。与此相反，假的负值是那些被错误地标识为背景的像素，而假的正值是被错误地检测出的前景。
Ground-truth
Positive
Negative
Segmentation
Positive
TP
FP
TP+FP
Negative
FN
TN
FN+TN
TD+FN
FP+FN
真的正值率（TPR）定义为： TPR=TP/(TP+FN)
真的负值率（TNR）定义为： TNR=TN/(TN+FP)
假的正值率（FPR）定义为： FPR=FP/(FP+TN)
假的负值率（FNR）定义为： FNR=FN/(TP+FN)
当把上述的方法用于任意一种类型的分类时，传统方法的两类问题是：R是正确检测出的像素的个数与在ground truth数据中的相关像素个数之间的比值，定义为：
R=TP/(TP+FP)
精度P是正确检测出的像素的个数与整个像素个数之间的比值，定义为：
F=2*P*R/(P+R)
主观质量：既然客观质量方法不是很老练，通过人们观察的主观质量评价就是不可避免的。它允许深入分析不同分割方法的错误。
总结：首先，必须知道在不同视频中，客观质量评价与主观质量评价差别是很大的，这个差别也取决于采用的方法。一些方法具有较少的限制，因此比其他方法具有较高的稳定性。
精度用来分析一种算法过分割的趋势。精度越高，过分割的可能性越小。另一方面,the recall用于估计欠分割（undersegmentation）的趋向，recall越高，欠分割的可能性越小。主观质量评价支持客观质量评价方法的结果。另一方面，图像差分方法显示出与欠分割相对应的高PN值。
② 计算复杂性
除了分割质量外，一种分割方法的计算复杂度是另一个重要的标准。这在那些给定帧率必须达到或采用特别低的硬件时的实时应用中特别地真实。
计算机复杂性可分为两部分：时间和内存消耗。在某种程度下两者是可互换的。使用复杂的数据结构增加了更高内存需求的速度。另一方面，通过使用通常影响速度的精细的数据获取函数来减少内存需求。时间消耗是通过测量分割一帧所有的时间来定义的。内存消耗是以用于一个背景模板的内存大小来定义的。假设所有值是以32bit存储的。当然，可以通过把浮点数近似为整数来降低内存的使用大小，但是这也可能导致在性能上的降质。
4. 总结
主要阐述了静态背景现有的分割方法，而且以使用方法、分割质量和计算复杂度对它们进行了相互比较。完全的调查支持多个结论，会考虑到信息、背景模型、分类和使用的策略。对把前景物体从背景中分割出来，颜色是一个很有力的线索，灰度信息对要求严格的检测是不够的。就颜色空间而言，亮度和色度信息的分离能提供第阴影的鲁棒性。单独的边缘信息缺少鲁棒性是因为错误地检测出的边缘，但如果与颜色信息结合起来能提高性能。一般来说，把补充的信息（颜色、边缘、运动）结合起来会产生更好的效果。统计背景模型比简单的均值背景模型更好，因为它们也把由摄像机噪声产生的背景变化量建立模型。具有多类的复杂分类器和模糊分类，比只有两类的简单分类器和以牺牲计算复杂度的阈值化，会产生较高的性能。而且，可以推断分割性能在很大程度上取决于有用信息、背景模型、分类和结合策略的理想组合。特别地，对实时应用方面，记住分割性能不仅决定于有许多特征、非常复杂的模型和分类器，而且还决定于不同步骤的优化组合是非常重要的。
在严格条件下（由特殊应用产生的），大多数方法都能运用地很好，但它们在阴影、ghost效果、highlights、reflection、illumination变化、dark环境和前景对象与背景相似的情况下缺少鲁棒性。尽管在分析方法中一些效果是直接的或间接的，但仍需要更多的研究来开发一个鲁棒性强的分割系统。一种方法是对背景使用更复杂的模型来抑制噪声。上面提到的问题应该分别对待，那些导致多类分类的问题，应把多高补充的特征和算法结合起来提高鲁棒性。非常有希望的是，通过先前的检测结果或把分割与检测步骤和跟踪步骤结合起来考虑时域信息。另一个可能性是把轮廓跟踪方法，比如蛇形法结合起来提高精度。
