基于部分亲和字段PAF(Part Affinity Field)的2D图像姿态估计

该文章出自2017年的CVPR，Realtime Multi-Person 2D Pose Estimation using Part Affinity Field，是CMU的工作，效果真的amazing。

也许这篇文章的亮点在于，融合了PCM和PAF的级联cascade形网络结构，网络设计思想和RefineNet的网络设计思想很像，以及相应条件约束的偶匹配（bipartite matchings）算法。

整个检测过程如上图所示，输入一幅图像，然后经过7个stage，得到PCM和PAF。然后根据PAF生成一系列的偶匹配，由于PAF自身的矢量性，使得生成的偶匹配很正确，最终合并为一个人的整体骨架。

 

         在models/pose/mpi/下面有2个模型，pose_deploy_linevec.prototxt模型相对更准确一些，pose_deploy_linevec_faster_4_stages.prototxt模型精度稍微有所下降，大概2个点，但是速度提升有30%。

         这2个模型的区别就是，后者去掉了stage5，stage6这2个卷积模块（如下图所示，每个stage由一系列的卷积层组成，其中Branch1由1个列组成，Branch2由2个列组成，在进入下一个stage前，上一个stage的3个列进行融合）。

         models/pose/coco/pose_deploy_linevec.prototxt和models/pose/mpi/pose_deploy_linevec.prototxt网络结构一样，区别就是coco的卷基层滤波器数目更多点。这个模型是3个模型中最精确的一个。

         模型的设置可以在，examples/openpose/openpose.cpp中设置，默认调用COCO的model

DEFINE_string(model_pose,"COCO","Modelto be used (e.g. COCO, MPI, MPI_4_layers).");

安装步骤（环境centos）：

git clone https://github.com/CMU-Perceptual-Computing-Lab/openpose.gitcd 3rdparty/caffecp Makefile.config.Ubuntu14.example Makefile.config #修改其中的路径为自己计算机路径make all -j8cd ../../models/./getModels.sh cd ..cp Makefile.config.Ubuntu14.example Makefile.config #修改其中的路径为自己计算机路径make -j8

可能错误：

/tmp/cciLUahT.s:1660: Error: no suchinstruction: `vextracti128 $0x1,%ymm0,%xmm0'

make: ***[.build_release/src/openpose/gui/guiInfoAdder.o] 错误 1

make: *** 正在等待未完成的任务....

/tmp/ccpTDNgT.s:3892: Error: no suchinstruction: `vextracti128 $0x1,%ymm0,%xmm0'

make: ***[.build_release/src/openpose/gui/gui.o] 错误 1

解决方法：注释掉Makefile中的汇编优化，204行，CXXFLAGS += -march=native

可能错误：

ERROR: something wrong with flag'tab_completion_word' in file

解决方法：

去掉Makefile中144行，

LIBRARIES += glog gflags boost_systemboost_filesystem m hdf5_hl hdf5 caffe

中的gflags

测试：

跑视频：

./build/examples/openpose/openpose.bin--video examples/media/video.avi

跑摄像头：

./build/examples/openpose/openpose.bin

跑图片：

./build/examples/openpose/openpose.bin--image_dir examples/media/

pets数据集上的测试效果：

reference:

https://github.com/CMU-Perceptual-Computing-Lab/openpose