OpenFace: an open source facial behavior analysis toolkit

1. Facial landmark detection and tracking

a. 使用CLNF方法进行人脸标识点的检测和跟踪。

b. 对CLNF进行改进，分离训练+整合模型的方法获得更精确的检测效果，该模型主要包括两部分：PDM和patch expert。

c. 添加人脸验证环节以避免大范围的漂移和误检感知。

d. 利用三层CNN模型进行人脸对齐。

e. 利用多源初始化的方法，缓解真实场景应用中标识点检测困难的问题。牺牲时间换取准确度。

f. 在具体的PDM和patch expert模型的训练过程中对训练集进行了处理。

g. 利用dlib的facedetector作为CLNF模型的初始化。pipeline为：detect face bbox with dlib -> mapping to bbox include landmarks -> detect landmarks with CLNF -> track landmarks -> CNN validation module

2. Head pose estimation

这部分大概就是CLNF提供的landmark是三维的，所以可以利用其空间信息求解出头部的指向。而需要的相机标定信息可以从图像中进行估计。

3. Eye gaze estimation

利用CLNF模型可以得到眼睛和瞳孔的位置信息。连接camera原点到瞳孔中心，计算其与眼球交点，而后计算眼球中心到瞳孔的方向向量作为眼神方向。Q:这里连线和眼球不应该有两个交点？

4.Action Unit recognition

对检测到的landmark区域进行变换，类似人脸对齐，得到112by112大小的正面图像，进而提取特征，用于AU判断。（45pixel瞳间距离）