[Kinect]Kinect结合Unity3D引擎开发体感游戏

最近公司项目需要做科技馆的体感游戏，以前也没接触过游戏，虽然以前自己也是想做游戏，我想大部分都是学编程出来来做游戏，哈哈（请允许我淫笑一下，终于可以做这方面）。虽然以前没接触过体感游戏，看到的体验也是大部分看到的视频，幸好现在网络还是比较发达，上网大概了体感游戏开发，目前比较好的是Unity3D和Kinect结合交互进行开发。现在心里的感觉用句话说：哥现在也走在世界技术最前言，TMD碉堡了！

2  9月7号开始查阅网上的资料，一直没有找到详尽而又简单的方案。网上目前我看到就三种方法，说是三种方法说白了就一种：中间件。形散而神不散--散文的最高境界（其实我语文不好，对不起祖国气我的期望，呜呜、、、）三种方法如下：

1.卡耐基梅隆的kinectWrapper.unitypackage；

2.OpenNI官方提供的OpenNI_Unity_Toolkit-0.9.7.4.unitypackage（现在官方不提供更新与支持了，支持的版本unity3.4，在往上版本会出现很多问题，需要修改很多地方，比较麻烦）；

3.自己写的交互的中间件，我在网上看见高手自己的写的中间件，封装为DLL，现在通过这段时间动手实现，发现自己写一个这样的中间件其实也不难，后期也自己准备写一个。

1我在采用的第一种方法，原因上面三点大概说来了，第二点以后考虑支持的版本和官方的态度，所以暂时不考虑；第三种目前自己还没写，目前来说也不太现实，也暂时不考虑考虑。所以目前情况就暂时考虑第一种；

2 

3 废话说了那么多，相信各位机油们早就寂寞难耐了，现在就切入正题：

一、Unity和Kinect交互的环境配置 
我目前所使用的Unity3D的版本是Unity3.5； 
使用的Kinect SDK版本是SDK1.6； 
Kinect和Unity交互的卡耐基梅隆的kinectWrapper.unitypackage方法是使用CMU的封装，这个方法支持的Kinect SDK版本是SDK1.0，要想使用1.6版本以上的kinect SDK,就要做一些相应的修改。完整的方案如下（这个也为什么上面说后期打算自己封装一个类似这样组件DLL）：

1、安装Uinty3D我使用的Unity3D版本是3.5，上官网下载（需要注册，才能用，我推荐大家去付点钱，我是自己找的破解码，声明不支持这样的行为，大家懂就好）。

2、安装Kinect SDK我使用的SDK版本是1.6，可以在Kinect for Windows官方网站上下载。

3、在Unity3D工程中，如果需要使用和kinect交互，那么就需要在这个工程中导入卡耐基梅隆的kinectWrapper.unitypackage。百度怎么用大家都懂吧（需要用kinect SDK版本是1.6以上版本（1,7以上版本还没试过替换是否可以，理论上应该也可以)，就要下载KinectWrapperPackage替换文件并替换导入包中的KinectInterop.cs和KinectSensor.cs这两个文件即可） 
好啦！目前准备工作都ok了！

二、简单Kinect Wrapper Package for Unity3D包含了所有我们开发unity+kinect需要用到的脚本。

1.导入包之后，所有我们需要的资源都会出现在project面板中，具体来说是以下的一些资源： 

2.Scenes

1KinectExample - 示例场景，这个例子向你展示了如何通过在每一个kinect 可以追踪的骨骼点上放置小球来产生骨骼运动。

Prefabs

1Kinect_Prefab- 包含了我们开发unity+kinect程序所必需的所有脚本。但是它并没有包含你需要的用于控制模型的控制器(controller)。

KinectPointMan - KinectPointController这个控制器(controller)是怎样使用的。

Kinect

1KinectModelControllerV2 - 需要将这个脚本拖放到你想要应用kinect控制的模型上。为了让模型能够跟上人的节奏，你需要将模型上控制模型动作的关键骨骼拖放到这个脚本暴漏的合适的变量中 ，也就是将模型中的骨骼与kincet识别到的人的骨骼绑定起来。另外这个脚本暴漏的变量中，还有一个变量时标识模型是受哪个玩家控制。

KinectPointController - 需要将这个脚本拖放到场景中的游戏物体上。但是这个游戏物体不是模型，而是由一系列分别代表头部、肩部、手等人体部位的点组成。你需要将游戏物体中的这些关键点都拖放到这个脚本暴漏的外部变量中。这样就可以使用kinect控制游戏物体了

DisplayDepth - 得到深度图像。

DisplayColor - 得到RGB图像。

KinectRecorder - 用于记录你的动作，并为kinect模拟器(emulator)产生回放文件。

KinectEmulator - 模拟kinect设备.和KinectRecorder产生的回放文件一起工作。

KinectSensor - 从Kinect设备中取得数据。需要替换这个文件使用特用版本的SDK.

DeviceOrEmulator - 设置使用kinect物理设备还是kinect模拟设备.

SkeletonWrapper - 脚本抓取骨骼数据.

DepthWrapper - 脚本抓取深度图像数据.

KinectInterop - 从Microsoft Kinect SDK中抓取数据.

三、使用KinectWrapperPackage包要想在自己的工程中 
首先需要用unity3D创建一个空工程，然后将kinectWrapper.unitypackage导入这个包到unity中，然后经过下面的步骤完成交互。

1、设置Kinect_Prefab前面提到过了，如果在Unity中和Kinect交互，Kinect_Prefab这个游戏物体是必不可少的。 这个物体需要存在于你的场景中的某处。所以当你切换场景时，它仍旧存在着，因此你不必在每个场景中都实例一个Kinect_Prefab。 
在Unity3D中，找到project面板中的Kinect_Prefab直接拖拽到Hierarchy面板就可以了。

2、控制游戏中的角色为了控制场景中的角色的移动，你需要将KinectModelControllerV2这个脚本拖拽到场景中的模型上，并绑定骨骼； 
当然你为了控制一系列的游戏物体，你需要将KinectPointController拖拽这些物体上。 
下面分别说明这个脚本的使用(这两个脚本需要自己更具情况去定制)。

控制器：KinectPointController： 
在场景中创建一个空物体对象，作为你想要控制的容器。 
将其他的物体拖拽到刚刚创建的空物体中，并放置到相同的位置。使刚才创建的空物体成为这些物体的父节点。 
拖拽KinectPointController脚本到这些物体的父节点上。 
选中父节点，在Inspector面板中暴漏的变量中，找到Sw变量 (该变量表示Skeleton Wrapper).拖拽当前场景中Kinect_Prefab赋给这个变量。 
拖拽你想利用Kinect控制的每一个物体到Inspector面板对应的合适的变量中。 
设置Player变量(代表玩家)和Mask变量(代表哪些骨骼收到监控). 

控制器：KinectModelControllerV2： 
拖拽脚本资源KinectModelControllerV2到场景中的模型中。 
选择场景中的模型。找到模型中的暴漏变量Sw(它代表Skeleton Wrapper). 并将当前场景中的Kinect_Prefab拖拽给Sw这个变量。 
详细展开你的模型，让模型的每一块骨骼在hierarchy面板中可见。 
一个接一个地把模型中的骨骼拖拽到脚本中暴漏的对应的变量中.确保每一个骨骼都对应到了正确的变量上。 
当模型中所有的骨骼都放置好了之后，改变暴漏的Player变量的值，这个变量表明该模型是受哪个玩家控制， 0代表第一个玩家，1 代表第二个玩家。 
接下来要设置暴漏的Mask变量的值。设置合适的值，以决定是所有的骨骼都受Kinect控制，还是仅仅一部分骨骼受Kinect控制.如果这些受Kinect控制的骨骼都不是你想要的，你可以自己写一个控制模型的脚本来代替KinectModelControllerV2。 
当游戏玩家在控制模型时，如果你想要该模型同时播放自带的动画，那么你需要在暴漏的变量中选中animated选项，并设置BlendWeight变量的值，来决定模型受自带模型动画和Kinect驱动动作的最终混合效果。该变量取值范围为0到1之间。 

四、运行KinectWrapperPackage包中事例 
保证Kinect设备连接成功指示灯为绿色，上面安装包安装配置好，最后运行事例 
 
注意图片的左下角的数字，证明连接成功 ，连接成功的时候Kinect设备还会自己调整角度（最左边的指示灯会有红色）并且模型会随着你动而动

欢迎大家期待第二篇，将写一个3D人物模型，随着身体指示，产生转身和前进与跑步 
先上一张图（第二篇会上相关的脚本代码，由于unity脚本主要是c#和js，所以我采用c#写的脚本，9月7号才接触到unity和kinect，原来工作一直用c/c++，c#都是现学现买所以有不当之处，还请大家使劲拍砖）： 

 

  这篇接着《Kinect结合Unity3D引擎开发体感游戏（一）》，时隔3个月才出这篇，在此期间还有不少机油们，要求出续集，期间在公司那边事情太多，一直帮公司前人做的项目擦屁股，到目前为止，完成了差不多，累啊，相信大家都有体会，做前人留项目，基本上坑爹情况多。费了这么多话，给干货了！

       接着上一篇写一个3D人物模型，随着身体指示，产生转身和前进与跑步。

      就像我上一篇所说的，目前做体感交互中间件有3中方法：

      1.卡耐基梅隆kinectWrapper.unitypackage；

      2.OpenNI官方提供的OpenNI_Unity_Toolkit-0.9.7.4.unitypackage（现在官方不提供更新与支持了，支持的版本unity3.4，在往上版本会出现很多问题，需要修改很多地方，比较麻烦）；

      3.自己写的交互的中间件，我在网上看见高手自己的写的中间件，封装为DLL，现在通过这段时间动手实现，发现自己写一个这样的中间件其实也不难，后期也自己准备写一个。

      第一篇，我是基于卡耐基梅隆kinectWrapper.unitypackage中间件，利用上面的自带例子，经过自己的摸索终于成功了，可以看Kinect结合Unity3D引擎开发体感游戏（一），现在大部分用卡耐基梅隆和OpenNI来作为unity与kinect交互，还一种就是自己封装交互组件，经过这段时间研究后，自己封装了一个dll，大概实现的功能：kinect摄像头角度设置，RGB流，Depth流，玩家位数绑定，骨骼数据获取等！后期计划把鼠标加进去，骨骼绑定功能进一步优化，想利用这个dll组件实现3D试衣镜这样的虚拟场景，不仅包括体感游戏！最终可以满足绝大部分的开发情况！

     卡耐基梅隆和OpenNI现在基本上对于高于Kinect1.7和Unity3D4.0支持不是很好，特别是openni官网都没有支持更新了，对于高版本支持更是不好，卡耐基梅隆还是稍微好点，不缺配置也比较麻烦，还需要修改里面的代码！对于不太熟悉kinect同学们更是不好上手！自己封装组件，不断傻瓜化了，更是知根知底！当然不是说自己是什么高手，只要把原理清楚了，大家写一个也不是什么问题！

     好了，简单交代一下我开发环境：win8 + KinectSDK1.7 + Unity4.3.1（最新版本）哥熬了一个通宵破解了，想了解我这个例子的前提同学们必须对Unity3D比较熟悉，可以建立场景以及人物！对c#也要有了解。

上图为利用unity3D建立简单的人物场景！上述的场景都是基于unity自带的素材建立的。

      接下来该写人物事件驱动，大概的功能就是向前、向左、向右、向后走动。代码如下

然后将上面的setHeroState添加到Updata函数后，然后将脚本绑定到人物模型即可。

这篇就不讲解自己封装的组件dll，也不是这一篇就能讲清楚的，后续的文章中会慢慢剖析讲解！

下面就上图给大家看看体感控制效果截图：

上图中包含RBG流 、Depth流以及手势控制人物正在前行行走！也欢迎大家期待第三篇，会给大家展示一款较为成熟的体感作品！  再次感谢OSC各位基友的鼓励！谢谢大家！