【手势交互】8. Nimble Sense

早在2012、2013年度，手势识别领域就发生了几起重要的行业并购。比如英特尔对Omek的收购，谷歌对Flutter的收购，而苹果公司更是以3.45亿美金得高价收购了之前为微软Kinect提供技术支持的以色列公司Prime Sense。手势识别，早已成为了各大巨头角逐未来的战场。因为巨头们正逐渐看清（手势识别）体感技术对传统操作方式的重要改变。

 

虚拟现实会是下一代人机交互界面，Oculus已经在显示输出这一端做出表率，而且表现不错。但是在输入端，也就是人该如何在虚拟现实中发出指令和进行操作，依然处于群雄逐鹿的状态，声控、眼动、操作杆、手势识别等各种方法，谁也不敢说自己是主导。

 

2014年低Oculus收购NimbleVR，标志着手势识别目前基本已经胜出。相比其他方式，手势识别有这么几个优势：学习成本低,人类从一出生就在学习用手交互；灵活性高；实用性强，基于手势识别的交互方式已经有基本能用的产品。

 

手势识别也有自己的不足，比如操作时间长了手臂会累，两手交叠时会有识别不准的问题，但是综合来看，现阶段可能是最适合的方法了，其他几种可能会作为辅助输入方式，比如眼动和声控，在某些专业竞技领域，操作杆也可能会成为主导输入方式。

 

Nimble VR是一家成立于2012年的手势识别技术公司，创始人Robert2011年从MIT的计算机系博士毕业，专攻手势识别，被收购时公司也只有4名员工。Nimble VR研究运动追踪照相机系统和能够监测和分析身体骨骼结构的算法。借用自己的游戏经历，他们研制出了能追踪关节角度和关节位置的软件，从而制造出了真实的虚拟现实手臂。但他们找不到一款灵敏度高到足以挑选出这些关节数据的摄像机。包括微软公司的Kinect在内，都主要用于探测大型目标，而不是细微的手部运动。因此，该研究团队设计出了自己专用的体感深度传感器Nimble Sense。

 

 

Nimble Sense

 

Nimble Sense登陆Kickstarter，众筹还没结束，就被Oculus看中。Nimble Sense的最大特色在于可以将识别到各种手势完美地同步到VR游戏或软件之中，让用户在虚拟现实世界也可以感受到双手的存在，而且这一过程并不需要借助任何穿戴在手上的硬件产品。

 

Nimble Sense采用TOF深度摄像头，帧率为45fps，捕捉红外激光发射器空间内的反射密集三维点云。真实世界的三维点云被渲染在正确的位置和角度，点云甚至可以被渲染到其他玩家的虚拟视场里面，这样在多人、社交类的应用中，可以在不同视点间互相共享点云。如果采用双目摄像头的手势识别方式，只能得到依赖于特定瞳距特定视点的两幅红外图像，不能共享给其他视点的用户使用。

 

Nimble Sense 的TOF摄像头可捕捉用户眼前 110 度的范围（这比 Oculus 的可见角度还高出 10 度），纵深范围为 10-70cm，意味着只要能够看到双手，它即可显示在虚拟现实世界之中，更可以与虚拟现实世界中的所有物体进行精准的交互。Nimble Sense在设备精度、成本、功耗三方面平衡方面有突破性进展，给用户带来实惠的TOF深度摄像头，Nimble Sense在Kickstarter的众筹价格为99美元。

 

Nimble Sense非常小，可以安装在Oculus虚拟现实头盔的上方。它会监测用户的手部运动，软件随后会采用数学方法模拟每个手势。Nimble Sense安装在DK2的时候会遮挡住两个LED灯，这些灯是为了DK2位置跟踪用的，但不影响跟踪的性能， 安装leap motion的时候也有这个问题。相比Leap Motion，Nimble Sense 明显识别率更高，更加灵敏。

 

Nimble Sense使用PMD传感芯片，并与PMD在软硬件上紧密合作。和Camboard不同的是Nimble Sense的光学系统是针对VR系统专门优化过的，以完成宽视角、长距离、高精度的手部跟踪。