Kinect v2程序设计(C++) Body 篇 背景移除 骨骼跟踪 手势识别

Kinect SDK v2预览版的主要功能的使用介绍，基本上完成了。这次，是关于取得Body(人体姿势)方法的说明。

  上一节，是使用Kinect SDK v2预览版从Kinect v2预览版取得BodyIndex(人体区域)的方法。

 这一节，介绍从Kinect取得Body(人体姿势)的方法。

Body

  到目前为止，Kinect能取得Depth（通过传感器的距离信息）和BodyIndex(人体区域)。并且，基于这些数据可以取得人体姿势。

 

  Kinect的人体姿势，是向学习了基于庞大数量的姿势信息的识别器里，输入人体区域的信息来推定的（注：因为男女老少高矮胖瘦体形各不相同，所以必须基于神经网络的数据库才能准确识别人体）。详细还请参考Microsoft Research发表的论文。

  这个论文在IEEE CVPR 2011（计算机视觉及模式认识领域的首位会议）发表，获奖Best Paper。

Microsoft Research“Real-Time Human Pose Recognition in Parts from a Single Depth Image”

  背景技术说不定很复杂，不过开发者通过Kinect SDK可以简单地取得和使用人体姿势。

 

  人体的姿势数据，可以得到头，手，脚等3维的位置，基于这些可以实现姿势的识别。

  这个人体区域，在Kinect SDK v1被称为「Skeleton」，不过，在Kinect SDK v2预览版里更名为「Body」。

 

  这一节，介绍取得Body的方法。

 

示例程序

使用Kinect SDK v2预览版取得Body和Color图像叠加显示为「●(圆点)」的示例程序展示。还有，基于Body数据，Hand State(手的状态)也做了显示。第2节有介绍取得数据的阶段摘录解说，这个示例程序的全部内容，在下面的github里公开。

 

https://github.com/UnaNancyOwen/Kinect2Sample

 

图1 Kinect SDK v2预览版的数据取得流程(重发)

「Sensor」

取得「Sensor」

// SensorIKinectSensor* pSensor;   ……1HRESULT hResult = S_OK;hResult = GetDefaultKinectSensor( &pSensor );  ……2if( FAILED( hResult ) ){  std::cerr << "Error : GetDefaultKinectSensor" << std::endl;  return -1;}hResult = pSensor->Open();  ……3if( FAILED( hResult ) ){  std::cerr << "Error : IKinectSensor::Open()" << std::endl;  return -1;}

列表1.1 相当于图1「Source」的部分

1 Kinect v2预览版的Sensor接口。

2 取得默认的Sensor。

3 打开Sensor。

 

「Source」

从「Sensor」取得「Source」。

// SourceIBodyFrameSource* pBodySource;  ……1hResult = pSensor->get_BodyFrameSource( &pBodySource );  ……2if( FAILED( hResult ) ){  std::cerr << "Error : IKinectSensor::get_BodyFrameSource()" << std::endl;  return -1;}

列表1.2 相当于图1「Source」的部分

1 Body Frame的Source接口。

2 从Sensor取得Source。

 

  这里只是关于取得Body的源代码解说，不过，为了案例程序的显示，也同时取得了Color。

「Reader」

「Source」从打开「Reader」。

// ReaderIBodyFrameReader* pBodyReader;  ……1hResult = pBodySource->OpenReader( &pBodyReader );  ……2if( FAILED( hResult ) ){  std::cerr << "Error : IBodyFrameSource::OpenReader()" << std::endl;  return -1;}

列表1.3 相当于图1「Reader」的部分

1 Body  Frame的Reader接口。

2 从Source打开Reader。

 

「Frame」～「Data」

从「Reader」取得最新的「Frame」(列表1.5)。

 

在这之前，为了可以和从传感器取得的坐标匹配，取得ICoordinateMapper的接口(列表1.4)，由于Color照相机和Depth传感器的位置是分开的，因此需要把body数据和Color图像的位置进行匹配。

// Coordinate MapperICoordinateMapper* pCoordinateMapper;  ……1hResult = pSensor->get_CoordinateMapper( &pCoordinateMapper );  ……2if( FAILED( hResult ) ){  std::cerr << "Error : IKinectSensor::get_CoordinateMapper()" << std::endl;  return -1;}

列表1.4，坐标匹配接口的取得

1 Frame之间的坐标匹配的接口。

2 从Sensor获取坐标匹配的接口。

 

接下来的列表1.5，是和连载第2节一样的方法，表示的是Color图形的取得。

int width = 1920;int height = 1080;unsigned int bufferSize = width * height * 4 * sizeof( unsigned char );cv::Mat bufferMat( height， width， CV_8UC4 );cv::Mat bodyMat( height / 2， width / 2， CV_8UC4 );cv::namedWindow( "Body" );// Color Tablecv::Vec3b color[6];color[0] = cv::Vec3b( 255，   0，   0 );color[1] = cv::Vec3b(   0， 255，   0 );color[2] = cv::Vec3b(   0，   0， 255 );color[3] = cv::Vec3b( 255， 255，   0 );color[4] = cv::Vec3b( 255，   0， 255 );color[5] = cv::Vec3b(   0， 255， 255 );while( 1 ){  // Color Frame  ……1  IColorFrame* pColorFrame = nullptr;  hResult = pColorReader->AcquireLatestFrame( &pColorFrame );  if( SUCCEEDED( hResult ) ){    hResult = pColorFrame->CopyConvertedFrameDataToArray( bufferSize， reinterpret_cast<BYTE*>( bufferMat.data )， ColorImageFormat_Bgra );    if( SUCCEEDED( hResult ) ){      cv::resize( bufferMat， bodyMat， cv::Size()， 0.5， 0.5 );    }  }  SafeRelease( pColorFrame );  /* Body部分在列表1.6 */  // Show Window  cv::imshow( "Body"， bodyMat );  if( cv::waitKey( 10 ) == VK_ESCAPE ){    break;  }}

列表1.5，相当于图1「Frame」，「Data」的部分(第1部分)

1 为了显示Body数据取得Color图像，详细见第2节。

  

列表1.5中的Body部分的代码，在下面的列表1.6里显示。

// Body Frame  IBodyFrame* pBodyFrame = nullptr;  ……1  hResult = pBodyReader->AcquireLatestFrame( &pBodyFrame );  ……2  if( SUCCEEDED( hResult ) ){    IBody* pBody[BODY_COUNT] = { 0 };  ……3    hResult = pBodyFrame->GetAndRefreshBodyData( BODY_COUNT， pBody );  ……3    if( SUCCEEDED( hResult ) ){      for( int count = 0; count < BODY_COUNT; count++ ){        BOOLEAN bTracked = false;  ……4        hResult = pBody[count]->get_IsTracked( &bTracked );  ……4        if( SUCCEEDED( hResult ) && bTracked ){          Joint joint[JointType::JointType_Count];  ……5          hResult = pBody[count]->GetJoints( JointType::JointType_Count， joint );  ……5          if( SUCCEEDED( hResult ) ){            // Left Hand State            HandState leftHandState = HandState::HandState_Unknown;  ……6            hResult = pBody[count]->get_HandLeftState( &leftHandState );  ……6            if( SUCCEEDED( hResult ) ){              ColorSpacePoint colorSpacePoint = { 0 };  ……7              hResult = pCoordinateMapper->MapCameraPointToColorSpace( joint[JointType::JointType_HandLeft].Position， &colorSpacePoint );  ……7              if( SUCCEEDED( hResult ) ){                int x = static_cast<int>( colorSpacePoint.X );                int y = static_cast<int>( colorSpacePoint.Y );                if( ( x >= 0 ) && ( x < width ) && ( y >= 0 ) && ( y < height ) ){                  if( leftHandState == HandState::HandState_Open ){  ……8                    cv::circle( bufferMat， cv::Point( x， y )， 75， cv::Scalar( 0， 128， 0 )， 5， CV_AA );                  }                  else if( leftHandState == HandState::HandState_Closed ){  ……8                    cv::circle( bufferMat， cv::Point( x， y )， 75， cv::Scalar( 0， 0， 128 )， 5， CV_AA );                  }                  else if( leftHandState == HandState::HandState_Lasso ){  ……8                    cv::circle( bufferMat， cv::Point( x， y )， 75， cv::Scalar( 128， 128， 0 )， 5， CV_AA );                  }                }              }            }            // Right Hand State            /* 和左手一样，获取右手Hand State绘制状态。 */            // Joint  ……9            for( int type = 0; type < JointType::JointType_Count; type++ ){              ColorSpacePoint colorSpacePoint = { 0 };              pCoordinateMapper->MapCameraPointToColorSpace( joint[type].Position， &colorSpacePoint );              int x = static_cast< int >( colorSpacePoint.X );              int y = static_cast< int >( colorSpacePoint.Y );              if( ( x >= 0 ) && ( x < width ) && ( y >= 0 ) && ( y < height ) ){                cv::circle( bufferMat， cv::Point( x， y )， 5， static_cast<cv::Scalar>( color[count] )， -1， CV_AA );              }            }          }        }      }      cv::resize( bufferMat， bodyMat， cv::Size()， 0.5， 0.5 );    }  }  SafeRelease( pBodyFrame );

列表1.6，相当于图1「Frame」，「Data」的部分(第2部分)

1 Body的Frame接口。

2 从Reader里取得最新的Frame。

3 从Frame取得Body。  

   后面，是从人体取得数据。

4 确认能着追踪到人体。

5 取得人体Joint(关节)。

6 取得Hand State。

7 为了绘制，把Body座標向Color座標的坐标匹配。

   匹配的坐标是否超出绘制范围（这里Color图像的尺寸是1920×1080）的检查。

   （注：因为两个Camera位置、FOV和分辨率的不同，在匹配时不可能完全一一对应，所以必须检查坐标的有效性）

8 对应状态绘制相应颜色的○(圆型)做Hand State的可视化。

   用各自对应Open（打开：布），Closed（关闭：拳），Lasso（套索：剪）的颜色绘制。如果检查不出状态就不绘制。

9 对应人体的Joint参照color table的颜色做绘制。

   和Hand State一样，Body坐标向Color坐标坐标匹配来绘制●(圆点)。

 

  使用Kinect SDK v1从人体区域中检测获取的详细人体姿势最多支持2个人。Kinect SDK v2预览版可以检测获取全部人体区域（6人）的详细人体姿势。

  另外，Kinect SDK v1能取得的Joint是全身20个，Kinect SDK v2预览版是追加了「脖子(=NECK)」，「指尖（=HAND_TIP_LEFT，HAND_TIP_RIGHT）」，「大拇指（=THUMB_LEFT，THUMB_RIGHT）」5个，一共25个Joint。

 

  示例程序里，根据Joint位置参考color table的颜色绘制成「●(圆点)」来可视化。

 

  Kinect SDK v1（Kinect Developer Toolkit/Kinect Interaction）可以取得的Hand State，有「Open(打开)」和「Closed(关闭)」的2种类型。

 

  Kinect SDK v2预览版，在「Open」「Closed」基础上又增加了「Lasso(=套索)」这个状态的取得。「Lasso」能检查出竖起两个手指的状态。想象为「猜拳的（拳头，剪刀，布）」就好了。这里还有一个链接扩展阅读，我之后会翻译。

 

  现在，6个人中可以同时获取其中2个人的Hand State。

 

  示例程序里，可以通过手的Joint位置的状态来着色「○(圆环)」的绘制做可视化。「Open」绿色（=「cv::Scalar(0，128，0)」），「Closed」是红色（=「cv::Scalar(0，0，128)」），「Lasso」用淡蓝色（=「cv::Scalar(128，128，0)」）表现。

 

 Kinect SDK v1Kinect SDK v2预览版名称SkeletonBody人体姿勢可以取得的人数2人6人Joint（关节）20处25处Hand State（手的状態）2種類3種類Hand State可以取得的人数2人2人

表1 Kinect SDK v1和Kinect SDK v2预览版的人体姿势（Skeleton，Body）的比较

图2 Kinect v1和Kinect v2预览版的可以取得的Joint

运行结果

运行这个示例程序，就像图3一样，从v2预览版取得的人体姿势和手的状态被可视化了。

图3 运行结果

Joint用●(圆点)来显示，Hand State用来○(圆环)来显示。

图4 Hand State的识别结果

「Open」是绿色，「Closed」是红色，「Lasso」浅蓝色的○(圆环)来显示。 手的状态可以清晰的识别。

 

总结

  这一节是使用Kinect SDK v2预览版取得Body的示例程序的介绍。现在，Kinect SDK v2预览版实现的主要功能基本上都被介绍了。

 

  不过，Kinect SDK v2预览版，在RTM版的发布之前预计会有2～3次的更新。近日，第1次更新被预定公开给早期提供程序的参与者。一旦SDK v2预览版有公开更新，本连载就会追加新的功能介绍。