[翻译]080802- IR and Visible Light Face Recognition

1， 题目： IR and Visible Light Face Recognition

2， 作者： Xin Chen  Patrick J. Flynn  Kevin W. Bowyer

3， 单位：Department of Computer Science and Engineering, University of Notre Dame

4， 期刊及年份：Computer Vision and Image Understanding，Volume 99 , Issue 3(September 2005)

2，数据库来源，包括情绪诱发实验的具体设计方法以及实验器材等

（1） 数据库大小：由488个不同的采集对象提供，每类图像（红外/可见光）均为10916张采集时间为2002年—2003年；

（2）采集方法：

（3）每周采集一次，大多数采集者在不同的几周里参与多次；

（4）实验环境：光照一个位于采集者面前约8英寸的位置，另一个距左侧约4英寸，还有一个具右侧约4英寸。所有光照均对着采集者的脸部，三个灯光均大约6、7英寸高（1）侧光打开、中间关闭（“FERET style lighting”èLF）（2）三者均打开(“mugshot lighting ”èLM) ；在每种光照条件下，每个采集对象两种表情（中型表情èFA；微笑表情èFB），并要求全部摘除眼镜；

（4）采集仪器：红外图像使用非制冷的Merlin长波红外高分辨率摄像机（具有实时性、60HZ，12位的数字数据流、灵敏度在7.0-14.0微米的范围内、有包含320*240非制冷微量热探测器的焦平面阵列等性能）

 

3，特征抽取/选择的方法

4，情感的表达以及分类识别方法

5，特色与不足

另外,还请关注每篇文章的引言部分是如何提出问题的,对现状的描述;

以及结束语部分.

 

 

IR and Visible Light Face Recognition

Abstract

 This paper presents the results of several large-scale studies of face recognition employing visible light and infra-red (IR) imagery in the context of principal component analysis(PCA). We find that in a scenario involving time lapse between gallery and probe, and relatively controlled lighting, (1) PCA-based recognition using visible light images outperforms PCA-based recognition using infra-red images, (2) the combination of PCA-based recognition using visible light and infra-red imagery substantially outperforms either one individually. In a same session scenario (i.e. nearsimultaneous acquisition of gallery and probe images) neither modality is significantly better than the other. These experimental results reinforce prior research that employed a smaller data set, presenting a convincing argument that, even across a broad experimental spectrum, the behaviors enumerated above are valid and consistent.

 

重点：数据库的获取；分析过程；图像融合方法； 

主要内容：使用PCA 方法对两种识别方法进行分析，并给出实验结果。

在考虑时间推移以及光照受控的条件下：（1）使用PCA的可见光人脸识别性能要优于基于PCA的红外人脸识别。（2）基于两者（V/IR）融合的人脸识别（PCA）要优于单一的人脸识别性能。（3）在相同时间（采集和测试几乎在同时进行）下，两种识别性能差不多；（4）实验所使用的数据库要比以前的研究中所使用的数据库要小，提出一种有说服力的论证；即使涉及到不详细的实验波谱，上述特性依然存在。 

 

Introduction

（1）      passive infrared sensor technology(无源【被动】红外传感器技术)

（2）      IR摄像机的分辨率要低于可见光频谱照相机

原因：

1） the testing set size in these studies is relatively small, the training and gallery are composed of disjoint sets of images of the same subjects, and there is no substantial time lapse between gallery and probe image acquisition.

2） manually locate eye-locations in infrared images;

3） much higher resolution for visible light source images than the infrared images (240 _ 320).

4） Infrared face images could be more insensitive to facial expression change.

5） 室内图像/室外图像；眼部精确定位

***********************有关结论及结果***************************

1.）although eyes cannot be detected as reliably in thermal images as in visible ones, some face recognition algorithms can still achieve adequate  performance

2.）while recognition with visible-light imagery outperforms that with thermal imagery when both gallery and probe images are acquired indoors, if the probe image or the gallery and probe images are acquired outdoors, then it appears that the performance possible with IR can exceed that with visible light. 

 

（3）      Wilder et al. [4] demonstrated that both visible light and IR imageries perform similarly across algorithms

（4）      The FRVT 2002 coordinators report that face recognition performance decreases approximately linearly with elapsed time. 

 

*******************************************************************************

 

一、数据采集处理（试验仪器、实验环境、对象分类）

2.       数据库大小：由488个不同的采集对象提供，每类图像（红外/可见光）均为10916张采集时间为2002年—2003年；

3.       采集方法：

（1）       每周采集一次，大多数采集者在不同的几周里参与多次；

（2） 实验环境：光照一个位于采集者面前约8英寸的位置，另一个距左侧约4英寸，还有一个具右侧约4英寸。所有光照均对着采集者的脸部，三个灯光均大约6、7英寸高（1）侧光打开、中间关闭（“FERET style lighting”èLF）（2）三者均打开(“mugshot lighting ”èLM) ；在每种光照条件下，每个采集对象两种表情（中型表情èFA；微笑表情èFB），并要求全部摘除眼镜；

4.       采集仪器：红外图像使用非制冷的Merlin长波红外高分辨率摄像机（具有实时性、60HZ，12位的数字数据流、灵敏度在7.0-14.0微米的范围内、有包含320*240非制冷微量热探测器的焦平面阵列等性能）

5.       图像分类：

所有图象分为四类：（1）FA|LF（2）FA|LM（3）FB|LF（4）FB|LM

   另外所有实验有三类像集（image set）

（1）Training Set è用于构成人脸空间的图像集合（同以下集合相分离）

（2）Gallery Set è包括所有可以唯一鉴别测试者身份的图像组成

（3）Probe Setè通过于图库（gallery）中图像匹配得到的图像集合

6.       试验任务：

(1)验证（Am I who I say I am?）è提供验证者的生物信息和验证身份

(2)鉴别（Who am I?）è提供未知身份者的图像，鉴别其身份

(3)监视清单（Are you looking for me?）检测某个体是否在监视清单内，若是，给出其身份

6、图像处理：

（1）手工定位人脸 （单击每只眼睛的中心位置）

（2）由于背景、脸部变形（缩放、旋转、变换等）、传感器变量（自动增益控制等）均会降低识别性能，因此文章使用CSU软件（由美国Colorado State University研发的PCA软件è文中有该软件的功能介绍）对图像进行了标准化处理

 

二、实验中所使用的PCA算法è借助于CSU软件

 设计目标：

（1）       产生Training Set的图像分类规则è具有区分不同对象的不同图像的能力

（2）       将以上规则应用于新图像，实现不同图像集间的对应

 

三、数据处理及其说明

四、在模式识别方面的方面总结了PCA技术并讨论了距离测量技术对识别性能的影响

（马氏距离/欧氏距离/城市街区距离）

五、给出两个主要实验（相同阶段/时间推移的识别）的实验结果，并对比两者的识别性能

1、 Same-session Recognition

 实验一:

（1）       数据库：82个不同采集对象，每人提供上述四种图像（同时）

（2）       对图库（gallery）和测试库（Probe）进行匹配。求最高匹配率

  

采用240个不同个体(不相关)的240副图像进行测试,下面为可见光图像,上面为红外图像 ,得出相关结论: 两种图像的整体识别性能都很高,因此这种”上限效应(Celling Effect)”使得很难比较两者的真正差别

实验二:

(1)    数据库:从488位个体中挑选319位,每人提供四种类型的图像,(注:有一定的时间推迟)

 

六、研究依时性（Time-Dependence）对识别的影响

七、研究对眼睛中部区域识别的性能灵敏度

八、Since training the subspace in the PCA algorithm is vital to recognition performance, we discuss in Section 11 three important factors: training bias, training set size and eigenvector tuning.

九、研究光照变化和面部表情变化对人脸识别的影响

十、红外和可见光的融合技术

十一、       比较PCA算法和一种商业化人脸识别算法的性能