《Pedestrain detection in Infrared Images》

1.简介

交通安全目前是一项活跃发展的技术，特别是行人识别技术对于降低交通事故的意义重大。行人交通意外是目前第二大的交通事故。年统计200,000多行人被伤害，大约9,000死于交通事故在EU。

使用视频摄像和专业的图像处理技术来对行人进行识别和分类，为交通安全提供了一项较优的技术。

近几年的研究主要针对可视摄像机，已经提出和应用了很多方法，例如基于图形的方法、基于纹理的方法、立体成像和行为分析。所有的这些方法都要应对不同的行人呈现的不同的特征，例如衣着或其它的特征。

最近，红外摄像机的优势被开发出来并加以利用了。通过应用红外图像或红外摄像机对行人进行识别，可以看出红外图像促进了目标识别技术的发展。

本文我们提出应用红外摄像机进行行人识别的方法，基于(i)确定目标位置及具体尺寸和宽高比；(ii)利用一个附加的滤波器的降低错误率；(iii)最后的确认过程，基于人形状的特征对屏幕中的一系列行人进行识别。本文提出的方法只利用一个图像并且没有跟踪，实验结果表明该方法的鲁棒性和稳健性。

下文主要是利用红外摄像机；第三部分提供了问题分析和设计选择；第四部分描述了方法和规则；最后第五部分讨论了结果，并对论文给出了结论。

2.IR领域的特征

红外的图像与可见光图像表达的信息完全不同。可见光图像是根据光照射到物体表面，物体反射所呈现的图像；而红外图像的目标与它的温度和它表面的热度相关。

通常，人的表面的温度比周围环境高，则他辐射的热度也比背景高。因此，红外图像中行人在灰度等级中属于高等级的，并且与周围的环境有强烈的对比，因此利用红外图像特别适用他们的定位。其它的目标也会辐射热量，例如电动车、卡车、公共汽车、摩托车，他们都有一个相似的行为，通过与行人的形状和宽高比进行比较，可以排除这些非行人目标。

红外摄像机一个最主要的是他们独立的光源情况：他们在白天和晚上几乎没有差别，这点优于其他只能在白天工作的摄像机。然而，颜色和纹理也不能够应用了。影子的问题也解决了。事实上，即使行人影子在红外图像中仍然存在，由于不同的温度的原因，影子也被隐藏了。尽管如此，红外图像行人识别仍然有很长的路要走。气候环境例如大雾或雨，会对身体的温度有影响，这也限制了红外系统的有效性。

然而，高温状态和强光减少了行人和其它的不同，事实上，目标都有一个被动热辐射特征，例如信号灯、电池、树、建筑物、和路标，可能都被太阳光照热，导致呈像更复杂，甚至产生热辐射。在这种强温情况下，人穿的衣服由于颜色和材质不同可能会呈现与周围环境不同，因此在图像中可以加入纹理进行识别判断。反过来，在低温环境下，衣服保护热量辐射只有部分身体(头或手)能够呈像出来。即使它没有可见光表示的明显，但它依然能够表示目标人。

虽然上面提到的问题看起来行人识别很困难，但红外摄像被证明是很有应用前景的。

3.问题分析和设计选择

当设计这个系统时两个规则需要考虑：

• 设计的系统要满足物理和美学的需求；
• 对目标例如行人要规定宽和高的范围；

这个计算规则必须要考虑输入图像是低分辨率的数字图像。

A.视觉系统的设置

参照物理限制和图像考虑摄像机位置是固定的(如图1)。为了正确定位图像像素和真实世界之间的对应关系，沿着公路对距离进行标定(如图2)，3D相关的这些点与图像中相对应的点能够计算出摄像机的角度。

计算的参数被用于真实的世界和图像像素的对应关系，在这种假设的环境下，图像视野是一条宽阔的路，交通工具都可以被忽略。事实上这种假设一般是不可能的，但是在这些区域中与交通工具相近(20米内)被认为相撞。在远的区域(大于20米)校准的错误可能会发生，这样产生的结果也不是太可信。

B.目标定义

一个具体的尺寸和宽高比被用来定义目标。行人尺寸被定义为如下值：i高：180cm+/-10%和ii宽：60cm+/-10%。

C.定义距离区域

在图像中行人在不同位置呈现不同的尺寸大小。事实上，不是所有可能的区域都要核实，主要根据计算时间和详细的内容。

事实上，距离较远的非常小的目标行人块包含非常低的信息量。在这些情况下，很容易报错，由于路上有很多非行人的目标，例如道路上的基础设施可能与人的形状很像。图3给出了列子，一个小的目标块包含低信息量。

目标块最大尺寸受限于图像的垂直分析度。

为了更精确的结果因此有必要定义目标块的范围。最大尺寸和最小尺寸如下：最小目标块：12*28像素；最大尺寸：42*100像素。事实上，这选择限制了交通工具的识别，在下文中将详细介绍。

校准被用于固定图像和真实世界之间的对应关系，距离6m或32m被考虑如图4a所示。图像呈现了两个行人与摄像机不同的距离，为了便于观察，图像显示了在不同的距离目标块含有的都是170cm高行人。

图4 (a)不同距离下行人不同的高度，不同距离包含170cm高的行人；(b)绿色表示170cm的行人能够看见。

图5显示了系统工作的区域。行人最小距离可以通过图看到，垂直虚线所表示。另一方面，行人具体的高度限制通过水平两条虚线表示。因此搜索区域在垂直虚线右边及两条水平虚线之间。

然而，需要考虑目标块的一些信息，以方便确定系统的工作区域。图表中附加的曲线表示目标块图的等边界：每一条曲线都描述了距离和目标块高度之间的关系。给定目标块的高度(BBhmax,BBhmin),系统工作范围是由上文提到的搜索区域和标注为BBhmax和BBhmin等边界区域的虚点所构成。

为了使在一个距离所有的行人都能被检测，要除去一部分遮挡的区域，工作区域限制于两个垂直的虚线内。箭头内是真正的距离范围。当前的设计选择距离范围是7m~20m。

对目标高度的增量或递减的距离范围的行为进行慎重考虑；换句话说，为了识别所有的行人，扩展目标高度范围就要缩短距离范围。

4.规则详细描述

规则被分为三部分：

• 基于对称性的可能的候选区域的定位；
• 基于非行人目标的特征对候选目标进行滤波，以滤除噪声 ；
• 利用行人的形态对候选目标进行简单的匹配验证；

最后的部分是当前正在发展的内容，它的结果需要通过将来的调查进行验证。

A.候选目标的产生

规则的低阶部分如图6所描述的，主要是基于对称性计算。输入图像被处理只针对感兴趣区域，则垂直边界也被提取了。输入图像和包含垂直边界的图像进行对称区域搜索，利用具体的宽高比和目标人相应的尺寸特征，当然也要考虑透视问题。在这些区域中的边界密度也要被考虑。

图7显示了原始的输入图像(图7a),二值图像包含垂直边界(图7.b),对每一个垂直对称坐标计算直方图，目标块具有最大的直方图值(图7.c)。

• 灰度对称(红色)，
• 垂直边缘对称(绿色)，
• 垂直边缘密度(黄色)。

图7 对称计算和焦点注意：(a)原图；(b)垂直边缘检测；

(c)灰度级对称性(红色)，垂直边缘对称性(绿色)，垂直边缘密度(黄色)，结合所有(白色)；

(d)灰度直方图和它全局平均值(红色)和局部平均值(绿色)；

(e)可能的垂直对称轴的位置(在绿色里)；

(f)只计算绿色线段的直方图

白色直方图表示上面的结合，目标行人的直方图具有一个局部峰值。

替代计算量大耗时的穷搜索算法对感兴趣区域进行定位。需要注意的是红外图像允许减少对称轴的数量。换句话说，由于行人的温度比背景高，滤波器可以删除较冷区域的对称轴。为了这个目的，直方图主要计算较热点；它的局部平均值(计算一个小窗)也是它整个平均值。低通滤波器被用来平滑直方图并去除与大峰值邻近的小峰值，整个平均值被用来标注在冷区域的直方图的峰值。

图7d显示了直方图，平均值(红色)和它的低通滤波(绿色)；假设一个行人比他的背景热，计算的对称区域只是在直方图比平均值大或比局部平均值大的区域。特别是如图7e，横穿图像底部的绿色线的一部分被考虑做为对称轴，剩下的(横穿红色虚线)就忽略了。图7f给出了只用绿色计算的直方图。这降低了识别(假阳性数量减少)难度和并节省了计算时间。

候选目标通过直方图的阈值得到的。每一个超过阈值的峰值对应的目标块，都有可能是行人。此列表然后传递到下一个阶段进行处理，这部分主要是选择候选目标并删除一些噪声。

B.候选目标滤波器

对上文获取到的很可能是行人的候选目标利用行人特征进行滤波。换句话说，具体的滤波器参照一下几点设计：

• 以点、路标、建筑物或其它道路基础设施为中心的目标块都呈现高对称性；
• 由于行人在目标块中被归一化特征，目标块减少了上下部分的边界的计算；

目标块的边界被用于计算垂直直方图。对每一个目标块都进行操作。垂直直方图的形状被用来进行目标块滤波。3个标准已经被提出：

1. 当直方图中心是空的时候，目标块剔除。对大空洞、电线塔、栅栏甚至他们不是垂直的都适用(如图8.a)；
2. 当直方图的一半多是空的时候，目标块被移除。对大垂直洞、电线塔、栅栏适用(如图8.b)；
3. 当直方图在目标块的中间部分，左边或右边是空的，或当直方图集中在两个小区域，这两个小区域具有80%的贡献，目标块被移除。对细的垂直洞、电线塔、栅栏适用(如图8.c)。

图8.滤波器依靠具体的建筑物特征.在目标块上面用黄色表示的直方图是目标块的边缘垂直直方图。箭头所指的目标块是要被移除的。

之后对每一个目标块的大小要重新调整，为了适应内部边缘要降低高度和宽度。目标块在被移除前会对尺寸修改很多，然而其它的目标块会再一次被滤波而删除：

• 目标块进行调整大小操作，与行人相比相差太大(如图9箭头1)；
• 目标块不总是满足透视限制(如图9箭头2);
• 目标块不总是满足原始宽高比的假设(如图9箭头3)。

C.多变的候选目标

下面部分介绍当前的研究进展，研究结果也是当前简单的实验结果。

每一个目标块通过简单的行人形态特征进行匹配确认，基于形状的这个滤波器被用来移除候选目标不满足行人的形态特征、或不满足行人的温度。

图10显示了利用匹配得到的结果；根据目标块的尺寸模型被调整大小，之后与灰度图像进行匹配。对结果进行判断，低于阈值的候选目标被删除。

图10b显示了两个目标块进行判断的结果：高温的表示真正的行人，低温的表示树。即使树的形状与人相近，滤波器依然会把它滤除。

图10 (a)行人简单的形态特征；(b)利用形态特征对行人进行匹配，并对非行人目标进行滤除。

5.讨论与结果

图11给出了红外摄像头下一些行人识别的结果。两条水平绿线表示行人搜索的距离(7m到20m)，水平白线表示平坦路无交通工具出现。只计算距离区域内的高温行人。

图11 行人在不同状态下的结果：复杂环境、简单环境、1个或多个行人。

在目标块的下面是标识的是距离。两个水平绿线的范围是行人搜索区域，白线是边界。

结果显示在复杂的背景环境下依然能够识别一或多个行人。主要的情况如图12：

• 在复杂的背景中，包含建筑物或其它的目标，行人偶尔被识别(如图12a,12b,12c);
• 能够识别出行人，但对其具体的位置或目标块尺寸计算的不是太准确，因此导致距离估计失败(如图12d)；
• 步行的人明显没有被识别由于宽高比的限制(如图12e)；在下面的帧序列中(图12f)相同的行人仍然能够正确的识别，跟踪被应用解决这些问题。

图12.失败的状况。(a),(b),(c)复杂环境导致错误的定位，(d)距离判断错误，(e)由于未满足宽高比行人未被识别，在帧(f)中被识别了。

快速发展的技术会解决在复杂环境下的检测问题。大量的测试也将会在不同的天气状况下进行。下一步工作使用3D模型来增强识别效果。