DeepPose: Human Pose Estimation via Deep Neural Networks 阅读笔记

本文作者：Alexander Toshev, Christian Szegedy
CVPR2014

摘要

本文提出了一种基于DNN的人体姿势估计方法。姿势估计的问题可以看成是基于DNN的关节回归问题。本文提出了一种级联的DNN回归模型，用于高精度地预测姿态。这种方法的优点是利用了全局的信息。

1、介绍

人体姿态估计的主要挑战有——strong articulations, small and barely visible joints, occlusions and the need to capture the context。
目前的主要研究的方法是Part-based models。这类的方法efficient，但表达能力有限，只使用了局部的特征。全局的方法也有被提出，但在实际问题中，取得的效果有限。
本文把姿态估计构造成一个关节回归的问题，并用DNN来实现。以整个图像为输入，用一个7层的卷积神经网络。有两个优点，一、使用了全局信息；二、这种方法比人工设计特征简单。本文还使用了串联网络的方法来提高精度。

2、相关工作

3、深度学习模型

为pose vector，其中每一个元素代表一个坐标。一个标注图像用（x,y）表示，x代表图像数据，y为标签。
关节坐标是在绝对图像坐标系下的，需要归一化。Bounding Box ，分别代表中心坐标(二维)、box宽和box高。
归一化公式：
。
进而，。

3.1、DNN-based 回归

y*在绝对图像坐标系。ψ代表了卷积神经网络。本文采用了Alex-Net的框架。
输入图像大小为220X220(文章写的是220x220，但Alex-Net一文中写的为224x224)，C(11,11,96,4)-LRN-P-C(5,5,256)-LRN-P-C(3,3,384)-C(3,3,384)-C(3,3,384)-P-F(4096)-F(4096)。（C(卷积核宽，长，数量，步长默认值为1)）

训练：
Ground Truth pose vector 是定义在绝对图像坐标系的，训练集D需要先进行归一化：

代价函数为L2范数，优化网络目标为

It should be noted, that the above objective can be used even if for some images not all joints are labeled. In this case, the corresponding terms in the sum would be omitted.(即使没有标注出所有的关节也可以，在这种情况下，该项应该被忽略)
用Bp算法优化，batch size为128，学习率设为0.0005。用crop(section3.2)，左右翻转做数据增强，全连接层做DropOut：0.6。

3.2 串联回归

由于输入图像大小固定，不能看到细节，直接增加输入图像大小会增加已经很大的参数数量。所以采用级联方式。在第一阶段，估计一个大致的作为初始。在随后阶段，用新的结果取代之前的。对所有阶段采用相同的网络结构。
对第一阶段，b0包括整个图像，

对s>=2的阶段，

bi由上一层的yi为中心决定，diam(y)由人体躯干上相反的关节距离决定，例如左肩膀和右臀部。
对Stage1的参数，按照 sec. 3.1, Eq(4)中训练。在接下来的阶段中，训练方法有一点重要的不同。对训练集（x,y）中的每一个节点i用一个不同的bounding box归一化。这个bounding box以上一阶段的预测为中心，所以我们跟着前一阶段的模型来限制这一阶段的训练。
由于深度学习方法有很强的能力，我们通过对每一个图像、结点多重归一化进行数据增强。我们产生模仿的假设而不是只采用上一层的预测。通过一个2D-正态分布序列随机移动节点i的ground truth，正态分布的均值和方差由观察所有的得到。这些充分增强的训练数据可以被定义为一次抽取一个来自统一的初始数据的例子和节点，然后产生一个基于正态分布抽取的位移的模拟预测：

参数代价函数：

4.实际评估

4.1 计划

数据集：

1、Frames Labeled In Cinema（FLIC）；2、Leeds Sports Dataset
定义the diameter of a pose y 为肩膀到相反方向的臀部距离。

Metrics:

2个广泛被接受的评估metrics。1、Percentage of Correct Parts (PCP)2、Percent of Detected Joints (PDJ)

实验细节

。。。

4.2 实验结果。。。

相关博文：
(http://blog.csdn.net/sheng_ai/article/details/38925561)