复杂背景下实时目标出现与消失的判别（已录用）

1  引  言

     运动物体的检测与跟踪处于视觉监控里面的最基本部分，是后续各种高级处理如目标分类，行为分析等的基础。运动目标的检测是指从视频流中实时的提取出运动的目标，并对其进行识别与判定。物体的出现和消失是物体运动检测过程中经常遇到的问题。在复杂的背景中判别物体的出现和消失是对感兴趣的物体准确跟踪的前提。在发生遮挡，行人丢包，车辆非法停留等场景中，根据前景灰度的变化，传统的帧间差分法并不能很好的区分出来当前区域中物体是出现还是消失，因此，提出了一种自适应背景学习的方法，在实时的情况下，对物体的出现和消失有很好的判别效果。作为扩展，又在单物体判别的基础上提出了多物体判别的思想和方法。

      实现物体消失出现的判别主要有三种方法：光流法^[1]，帧间差分法^[2]，背景差分法^[3]。

      光流法可以在预先不知道场景信息的情况下，通过当前帧的光流变化的运算，检测出独立运动的物体，但多数的光流法运算复杂，不符合实时性的要求；帧间差分法虽然有比较好的适应性，但对帧间的变化速度有一定的要求，过快或者过慢都会影响到运动物体的分割提取，因此有一定的局限性。背景差分法则克服了以上两种方法的缺点，可以很好的分割出运动的物体，并进一步判断物体是出现还是消失。运算量小，保证了实时。需要解决的主要问题有两个：

• （1） 稳定的背景提取。在复杂的背景中，对单个物体消失和出现的判别会受到其他物体以及变化背景的影响。因此背景差分法就是要先提取出一个短时间内不会发生大的变化的背景来，并在一定的情况下对其进行更新。
• （2） 物体的出现消失。一般的跟踪算法都是根据帧间灰度的变化来判别的，而且一般物体的运动都是连续的。对于出现或者消失这种非线性的变化，只采用帧间的灰度变化的方法并不能区分出是发生了出现还是消失。问题的原因就在于不能判断物体是否已经融入到了背景当中。计算出不变的背景帧是对出现消失判别的一个前提。

      在背景的获取方面，采用了一种简单有效的背景提取方法，在复杂的背景下对鼠标选取区域的视频进行前景，背景提取，并通过渐消记忆递归二乘背景估计法^[4]，对运动的背景进行迭代运算，最终得到一个只有背景中静止物体的图像。将降噪滤波后的前景与背景对比，就能判别当前选取的区域内的物体是出现还是消失。

2 判断单物体的出现消失

      提出的背景提取方法为渐消记忆递归二乘背景估计法，先将选取区域中的ROI（Region Of Interesting）区域提取出来，将前景和背景转换成灰度图像后，通过帧间相减的差值得到图像中不变的背景。二值化图像后就将图像中的前景背景剥离出来，并通过形态学滤波，平滑，侵蚀膨胀，上下位运算等处理得到前景当前帧的灰度图像。物体出现消失的检测流程如图1所示：

2.1 ROI选取区域

      ROI（Region Of Interesting），即图像中的感兴趣区域。作用有两个：一个是选出图像中需要监控的区域，主要是通过鼠标的圈选来获得图像中感兴趣的物体或者区域。另外一个就是降低运算量，在以往的前景背景提取过程中，都是对整个的图像进行运算，当用户只是关注某一区域的灰度变化时，其他地方的运算就会白白消耗资源。从提高图像处理的实时性来说，ROI的选取减少了预处理和编解码的计算量，以及代码传输的带宽，为后面的跟踪，分类等高级处理节约了开销。

2.2前景背景提取

      在镜头固定的情况下，一般背景的像素点的灰度变化比较缓慢，而前景中运动物体的灰度变化较快。每一幅图像都可以划分为两个区域：一类区域由灰度变化较小的像素点构成，另一类区域由灰度变化较大的像素点构成，包括物体在当前帧的区域和上一帧中所在的区域，这些区域变化较大的称为运动变化区域。

      每隔一段时间采集一帧图像, 收集一段时间(0-t)内所获得的图像f₀-f_t,运用帧间差分法将所获得的图像进行两两相差,区分出每一帧图像中的背景区域和运动变化区域,将各帧中的背景象素点的灰度值取平均值得到干净的背景帧具体处理过程如下:

   设f_k(i,j)和f_k+l(i,j)为采集来的两帧视频图像(0≤k≤t)。运用帧间差分法对这两帧图像进行差分处理,作差分的量可以是灰度、亮度、色度值或其它的参数,本文采用灰度值进行差分,检测规则如下^[5]:

If|f_k(i,j)-f_k+1(i,j)|<T  B(i,j)=f_k+1(i,j)(1)

If|f_k(i,j)-f_k+1(i,j)|≥T　B(i,j)=0      (2)

      N为图像中象素点的个数。B(i, j)为背景像素点灰度值。因为场景中的运动目标在不停地运动,所以完全可以保证在视频序列图像f₀-f_t中,每一个像素点至少有一次是属于背景区域的(即至少有一次B(i,j)≠0)。

     将处理后的每一个像素点的灰度值相加,再除以检测为属于背景的次数,这个值就是该点的背景像素点的灰度值。图2展示了背景的提取过程, (a)为采集的视频图像, (b)为帧差处理后的图像, (c)为处理后所得到的背景。

2.3运动物体检测

      将待检测帧中每一个象素点的灰度值和背景图像中对应像素点相减,当差值大于一定阈值时,则判断为运动

目标。记d(i,j)= |G (i,j)-B (i, j)|,检测规则如下^[6]:

 

(a)采集的视频图像

（b）帧差处理图像

（c）处理后得到的稳定背景

图2 背景提取过程

      If d(i,j,t)>TH则为运动目标像素点M，else为背景像素点。其中G(i,j)表示当前图像中像素点灰度值, B(i,j)表示背景图像中对应位置的像素点灰度值, TH为阈值,目前TH的选取主要是靠经验。一般根据室内室外环境，以及噪声的大小来判定。

      有时因噪声的影响,会使检测结果中出现一些本是背景区域的像素点被检测成运动区域。另外,背景的扰动,如树枝、树中的轻微摇动,会使这部分也被误判断为运动目标,为了消除这些影响,首先对上一步的检测结果M用形态学的方法进行处理,再找出M经过形态学处理后的连通域,计算每个连通域中的面积,对于面积小于一定值的区域,将其抛弃,不看作是前景运动目标。采用形态学运算,使用4×4的矩阵算子,连通域内像素的个数的阈值选择要视具体情况而定。经过去除误检测到的区域后得到运动目标。

2.4物体出现判定

      当获得一幅稳定干净的背景帧后就可以通过前景帧和背景帧相减来得到前景灰度的变化情况。假如当前图像中，选取的区域有明显的物体变动。则经过与背景帧相减，并且在滤波，二值化等滤除噪声的处理后，会得到包括前景物体的轮廓信息在内的前景灰度图像。这时通过对比前景中灰度的变化得到结论是选取的区域内出现了以前背景中不存在的物体。如图3所示，（a）为室内，室外没有物体的情况，（b）为室内，室外有物体出现的情况。

2.5物体消失判定

      消失的过程是建立在物体出现的基础之上的，也就是说光靠前景图像灰度的变化并不能很好的区分出来物体是出现还是消失。假如开始在进行背景差分的计算以前，并没有得到一个稳定的背景，则有可能当背景发生变化时，将变化的背景判断为物体的出现。这个错误解决的办法就是渐消记忆递归二乘背景估计法。当在稳定的背景下判断物体出现了时，等到物体离开ROI区域后，通过背景差分法，得到当前区域的灰度和以前背景一致，此时就判断物体发生了消失。如图4所示，（a）为室内室外物体消失，（b）为室内室外消失后无物体状态。

 

 

 

 

 

 

 

 

 

 

（a）选择区域没有物体

（b）选择区域物体出现

图3 物体的出现判定

 

 

（a）选择区域物体消失

 

 

 

（b）选择区域没有物体

图4 物体消失判定

2.6背景更新

      要使背景模型能够对外界光线变化具有自适应性,必须实时地对背景模型进行更新,本文采用以下的更新方法^[7]:

在物体的检测中,对于被判断为属于物体的象素点M,仍然保持原来的背景灰度值,不予更新。判断为是背景的点,依照下述规则更新背景模型。

Bn+1(i,j)=αBn(i,j)+(1-α)G(i, j)      (3)

其中α∈(0,1)为更新率, G(i,j)表示当前帧中的像素点灰度值。

      由此可见,由于背景模型的更新并不完全取决于当前像素点的值,而且与以前帧具有相关性,因此背景模型可以在长时间内保持相对稳定。这种方法既有效地避免了一些背景的突发现象,如背景中突然出现一些原先背景中没有的东西,同时也考虑了噪声的影响。通过对背景像素点灰度值的更新,可以适应光线、天气等外界环境变化带来的影响。

3 多物体的出现消失

      当前的算法主要是通过对前景的判断和背景的更新来判别当前区域是否发生了出现或消失。经试验证明，在复杂背景下，不论是室内还是室外，对单个物体出现或者消失的判定比较准确。同时处理过程简单，满足实时性的要求。当把问题扩展到多物体出现和消失的时候，此算法就不适用了。因为相对于参考帧--背景帧来说，背景的参考信息并没有对前景中出现的物体识别的能力。因此，当对多个物体进行出现或者消失的判别的时候，就需要加入物体特征对多个物体进行识别，分类。这里采用颜色概率密度统计的方法来分类不同的物体。

3.1目标模型描述

      目标区域的中心为X₀，假设其中有n个像素用{X_i}_i=0,1,2...n表示，特征值bin的个数为m个。则目标的特征值u = 1,2,3...m估计的概率密度见公式（4）^[8]：

式中X₀、X_i分别是搜索窗口(n个像素)的中

心像素坐标和第i个像素的坐标；k(||x||²)是核函数，h表示核函数的带宽。函数b和δ的作用是判断X_i处的颜色值是否属于特征值u；C是一个标准化的常量系数，使得所有特征值的概率和为1。因此： 

 

3.2参考模型描述

      类似于上面的公式（4），图像在N帧后的选择窗口的特征值u的概率为：

式中y₀表示搜索窗口中心像素的坐标，C_h对应于上式中的C。

3.3相似度系数

      相似性函数描述初始帧目标模型和第N帧模型的相似性度量，我们使用Bhattacharyya系数作为相似性函数，定义为：

其值在0-1之间。结果的值越大，表示两个模型越相似。

3.4多物体出现消失判别思想

      当前帧多运动物体的判断与单物体判断相同，同样在取得稳定的背景后，利用背景差分法检测出前景中运动的多个物体。将检测到的多物体进行特征值分类存储，包括大小，面积，颜色等等，并标以ID号。当发生多个物体出现消失的情况时，通过特征值的一一对比和对ID序列的检索，以及各自颜色概率密度相似度系数的计算，当相似度系数小于阈值的时候可以判断出来是哪个ID消失，如有新的物体进入时则增加新的ID号。当背景更新的时候则所有的ID消除，重新进行运算和统计。

4 结论 

      本文提出了一种新的背景获取方法,该方法采用渐消记忆递归二乘背景估计法检测出背景象素点,排除了运动

物体对背景提取的干扰,因而能够在背景比较复杂的场合下获得满意的效果。在稳定的自适应背景下通过背景差分可以准确的判断出物体是出现还是消失的过程。

      ROI区域的选择避免了对整幅图像进行预处理的运算，经实验，当选择区域占整幅图像的比例比较小时处理消耗非常小。实验结果表明,该方法快速,准确,有着广泛的适用性。

     最后提出了针对多个物体判断消失和出现的思路，对多物体的判别区分有一定的参考价值。

 

参考文献:

[1]Barron J, Fleet D, Beachem in S. Performance of optical flow tech-niques [J], International Journal of computer Vision 1004, 12(1):42-47.

[2]MeierT, Ngun K N. Video Segmentation for Content-Based Cod-ing [J]. IEEE Trans. on Circuits and Systems for Video Technol-ogy, 1999, 9 (8):1190-1203.

[3]Gupt S, Masound O, Martin RFK, etal.Detection and classifi-cation for vechicles [J]. IEEE Transcations on Intelligent Transpor-atation Systems. 2002, 3 (1): 37-47.

[4]林洪文,涂丹,李国辉.基于统计背景模型的运动目标检测方法[J].计算机工程, 2003, 9 (16): 97-99

[5]Cucchiara R, Grana C, Piccardi M, et al. Improving shadow sup-pression in moving object detection with HSVcolor information[A].ProceedingsofIEEEIntelligentTransportation Systems con-ference [C]. Oakland, CA, US A , 2001: 334-339.

[6]Chen S C, Shyu M L, Zhang C, et al. Object tracking and aug-mented transition network for video Indexing and moding [A].12th IEEE International Conference on Tools with Artificial Intelli-gence (ICTAI2000) [C]. Vancouver, 2000, 428-435.

[7]高永英，张利，吴国威，一种基于灰度期望值的图像二值化算法，中国图形图像学报，Vol.4(A),No.6,june,1999,524-527

[8]林洪文,涂丹,李国辉.基于统计背景模型的运动目标检测方法[J].计算机工程, 2003, 9 (16): 97-99