FaceWarehouse: a 3D Facial Expression Database for Visual Computing

IV.应用

FaceWarehouse能被应用在多种视觉计算应用中。在这部分，我们展示4个实例应用：facial image manipulation，face component
transfer，real-time performance-based facial image animation，和facial animation retargeting from video to image。请参考补充材料中的演示视频。

A. facial image manipulation

在该应用中，用户可以操控人脸的特征属性，例如脸的长度，嘴的尺寸，鼻子的高度以及种族，（操控）直接体现在输入的单张人脸图片中。在FaceWarehouse中因为我们只有identity和expression两个属性，我们首先学习一个线性回归模型，该模型将一系列用户定义的人脸属性映射为bilinear face model（人脸双线性模型）中的identity属性。然后，我们为输入的人脸图片计算在bilinear face model（人脸双线性模型）中的identity和expression权重。通过该线性回归模型，用户定义的人脸属性变化被映射为identity属性，然后根据这些权重建立一个新的3D face mesh（人脸三维模型）。最后，使用输入图片的颜色纹理来渲染新的3D face mesh（人脸三维模型）得到新的相关特征已改变的人脸图片。

Facial feature analysis（人脸特征分析）。为了使用自然语言来分析人脸属性（例如嘴的宽度，脸的长度），我们使用multi-variate linear regression(多变量线性回归)[22]算法将这些属性映射为bilinear face model（人脸双线性模型）中的identity属性。对于FaceWarehouse采集的每一个人，我们都有他（或她）的identity权重（一个k维的向量wid）和l个用户设定的从该人的人脸几何信息中计算得到的属性{f1,f2,...,fl}。我们需要建立一个k×(l+1)维的矩阵Mfea将这些用户设定的属性映射为identity权重，

Mfea[f1,...,fl,1]T=wid.(11)

我们将所有150个人的identity权重的向量和用户设定的属性组合成两个矩阵，比如分别为Wid(k×150)和F((l+1)×150)。映射矩阵Mfea可以由下式求解

Mfea=WidF+.(12)

其中F+是F的左伪逆，即F+=FT(FFT)−1。

借助Mfea，我们能够直接将用户设定的属性的变化量Δf映射为identity权重的变化量Δwid，即Δwid=MfeaΔf。将Δwid加在输入图片的identity权重之上，我们就能生成一个新的人脸并且它的属性有了相应的改变。

Fitting 3D face mesh to image（图像到三维人脸模型的拟合）。为了使用我们的bilinear model（双线性模型）计算与人脸图像相匹配的三维人脸模型，我们首先使用已经在III-B节提到的方法在图片上定位一系列人脸特征点。然后我们估计人脸模型的刚性变换以及bilinear face model（人脸双线性模型）的identity和expression权重来最小化图像特征点与face mesh（人脸模型）特征点之间的匹配误差。

根据现有工作[5]，我们假设相机为弱透视投影。每一个mesh的顶点vk投影到图像空间为

pk=sRvk+t.(13)

其中刚性变换包含一个缩放影子s，一个三维旋转矩阵R和一个平移矩阵t。mesh的顶点位置vk可以根据(10)式从人脸双线性模型计算得到。

图像特征点和mesh特征点之间的匹配误差定义为

Ek=12⋅||sR(Cr×2wTid×3wTexp)(k)+t−s(k)||,(14)

其中s(k)是图像上的特征点位置坐标。

该能量可简单地使用[5]中描述的coordinate-descent method（梯度下降法）最小化。

B. Face component transfer

该应用