Kinect开发应用知识大全

Kinect體感遊戲在Xbox 360上獲得極高的好評，但是對於 Windows平台上的開發卻一直只能使用非官方的解決方案，例如 NKinect (http://nkinect.codeplex.com)配合CL NUI SDK (http://codelaboratories.com/nui)；但是微軟終於在 2011 年 6月推出了 Kinect for Windows SDK Beta，特別是可以使用 C# 與.NET Framework 4.0來進行開發，這對 .NET開發人員來說無疑是 2011年最好的消息了。

Kinect for Windows SDK : http://research.microsoft.com/en-us/um/redmond/projects/kinectsdk

本篇文章將詳細的介紹在 Windows 7上開發 Kinect應用程式所需要的一切知識，包含硬體原理、開發環境安裝、SDK的使用與 API呼叫方式，相信可以協助你一步一步的進入 Kinect神奇的開發領域。

一、Kinect硬體與原理介紹

Kinect感應器可以取得以下三種資訊：

·        彩色影像 (透過中間那顆 RGB鏡頭)

·        3D 深度影像 (透過左右兩顆鏡頭)

o   紅外線發射器和紅外線 CMOS攝影機

·        聲音 (透過陣列式麥克風)

Kinect也支援追焦功能，底座馬達會隨著焦點人物而轉動 Kinect方向 (左右各 28度)，下表是 Kinect的詳細規格：

感應項目

有效範圍

顏色與深度

1.2 ~ 3.6 公尺

骨架追蹤

1.2 ~ 3.6 公尺

視野角度

水平 57 度、垂直 43 度

底座馬達旋轉

左右各 28 度

每秒畫格

30 FPS

深度解析度

QVGA (320 x 240)

顏色解析度

VGA (640 x 480)

聲音格式

16KHz, 16 位元 mono pulse code modulation (PCM)

聲音輸入

四麥克風陣列、24 位元類比數位轉換 (ADC)、雜音消除

二、Kinect開發環境安裝與設定

在進行 Kinect應用程式開發之前，你需要準備好相關的軟硬體，需求如下：

·        作業系統: Windows 7 (x86 / x64)

·        硬體：

o   CPU：雙核 2.66GHz以上

o   RAM：2GB以上

o   顯示卡：支援 DirectX 9.0c以上

o   Kinect 感應器

o   軟體：

§ Visual Studio 2010 或 Visual C# 2010 Express

§ .NET Framework 4.0

§ Kinect SDK for Windows

§ 目前 Beta版的 SDK只支援 x86的 C#和 C++專案。

§ 如果要執行 SDK中的 C++ Skeletal Viewer範例，要安裝：

§ Microsoft DirectX9 SDK - June 2010或更新的版本

§ Runtime for Microsoft DirectX9

§ 如果要執行 SDK中的 Speech範例，要安裝：

§ Microsoft Speech Platform Runtime v10.2 (x86版)

§ Microsoft Speech Platform SDK v10.2 (x86版)

§ Kinect for Windows Runtime Language Pack v0.9

安裝 Kinect For Windows SDK的步驟：

1.      請不要接上 Kinect感應器

2.      不要開啓 Visual Studio 2010或 Visual C# 2010 Express

3.      依照你的 Windows 7是 32還是 64位元，安裝對應的 Kinect SDK

o   SDK 下載位址：http://research.microsoft.com/en-us/um/redmond/projects/kinectsdk/download.aspx

4.      安裝完畢後請務必要重新開機，以便系統可以正確識別 SDK所需要的環境變數

MSRKINECTSDK=C:\Program Files (x86)\Microsoft Research KinectSDK\

Kinect感應器安裝：

·        安裝 Kinect感應器

1.      確定 Internet連線正常

2.      接上 Kinect外接電源

3.      接上電腦 USB接口

4.      會自動下載必要驅動程式

·        檢查

o   裝置管理員

§ 會出現如下圖所示的裝置：

o   硬體狀態

§ 主機的燈會亮起，如下圖：

安裝 Coding4Fun Kinect Toolkit

這個工具包主要是將一些在開發 Kinect應用程式時會使用到的程式碼整理成擴充方法，讓你在開發 Kinect應用程式時可以簡化程式碼的撰寫。

·        下載：

o   http://channel9.msdn.com/coding4fun/projects/Coding4Fun-Kinect-Toolkit

·        Toolkit 中包含的函式庫：

o   Coding4Fun.Kinect.Wpf.dll (WPF應用程式請引用)

o   Coding4Fun.Kinect.WinForm.dll (WinForm應用程式請引用)

o   Microsoft.Expression.Drawing.dll

三、Kinect for Windows架構

Kinect的 NUI程式庫提供應用程式取得 Kinect感應器傳送至主機的三種資訊串流 (必須在初始化 API時指定要接收那幾種串流)：

·        彩色影像串流

·        深度影像串流

·        聲音串流

下圖就是完整的 Kinect for Windows SDK架構圖：

1.      Kinect 硬體
這部份指的就是 Kinect底座的馬達、三個攝影機 (RGB攝影機、紅外線 CMOS攝影機、紅外線發射器)、以及陣列式麥克風。

2.      Kinect 驅動程式
核心模式下包含了以下驅動程式：

o   Microsoft Kinect Audio Array Control

o   Microsoft Kinect Camera

o   Microsoft Kinect Device

o   Kinect USB Audio

3.      NUI API

4.      麥克風陣列 DMO 編碼器

5.      Windows 7 內建影音處理
也就是架構圖中灰色底的部分，這就是為什麼 Kinect for Windows SDK只支援 Windows 7的主要原因了。

四、NUI API初始化

要使用 Kinect API接收感應器的資訊，是透過 Runtime物件，因此 Kinect應用程式的第一步就是建立一個 Runtime物件來準備接收感應器的資料，然後呼叫 Initialize方法進行初始化 (指定要接收那類型的資料)，在應用程式結束時要呼叫 Uninitialize 方法，關閉 Kinect設備。

//建立一個 Runtime物件，代表 Kinect設備

 

Runtime nui = new Runtime();  

 

 

 

//初始化設備

 

nui.Initialize();

 

 

 

//開始使用 Runtime物件的方法、事件，

 

//取得影像、骨架資料、控制攝影機

 

 

 

//關閉設備

 

nui.Uninitialize();

其中你可以透過 Device物件的 Count屬性來取得目前主機上總共連接了幾台 Kinect設備，在建立 Runtime物件時，可以在建構式參數中加上所要連接的 Kinect設備編號

Device d = new Device();

 

 

 

if (d.Count > 0)

 

{

 

   int index = 0;

 

//建立一個 Runtime物件，index 代表 Kinect 設備的編號

 

Runtime nui = new Runtime(index);

 

}

NUI API初始化選項：

·        NUI API 使用多段式管線來取得 Kinect的資料，也就是你可以同時透過不同的管線來接收不同類型的串流資料。

·        Runtime 物件可以額外指定要啓動那些所需要的管線，在初始化 Runtime物件時使用 RuntimeOptions列舉值來指定：

o   UseColor：取得彩色影像串流

o   UseDepth：取得影像影像深度串流

o   UseDepthAndPlayerIndex：從感應器取得骨架追蹤引擎產生的玩家編號來取得深度資料

o   UseSkeletalTracking：使用骨架位置資料

例如：

//要取得彩色影像串流、深度與玩家編號的影像串流、追蹤骨架資訊

 

nui.Initialize(

 

RuntimeOptions.UseColor |

 

RuntimeOptions.UseDepthAndPlayerIndex |

 

RuntimeOptions.UseSkeletalTracking

 

);

五、取得彩色影像

彩色影像就是 RGB攝影機所拍到的動態影像畫面 (如下圖左邊的影像)：

1.      NUI 影像資料串流概觀：

o   透過 NUI API，你可以修改 Kinect感應器或取得感應器的資料。

o   串流資料是以影像畫格 (frame)的方式得到，所謂的畫格就是一張靜能圖片，一連串的畫格就組成了動態的影像了。

o   在 NUI初始化時，應用程式可以指定所要使用的串流。

o   開啓串流時要指定額外的資訊：

nui.VideoStream.Open(ImageStreamType.Video, 2,

ImageResolution.Resolution640x480, ImageType.Color);

§ 影像串流類型 (彩色還是深度串流)

§ 緩衝區數量 (1 ~ 4)
絕大部份應用，只需要 2個串流緩衝區，但是如果緩衝區滿了，NUI執行時期就會丟棄較舊的畫格，以便讓新的畫格可以放入緩衝區中，所以如果電腦處理速度不夠快，最多可以指定使用 4個串流緩衝區。

§ 串流解析度

§ 影像類型

2.      彩色影像資料

o   影像品質

§ 一般品質
感應器取得 1280x1024影像，轉換成 RGB模式並壓縮後，才傳給 NUI執行時期，NUI執行時期將收到的資料解壓縮，再送給應用程式，因為使用壓縮技術，所以提升了畫格傳輸的速度到 30 FPS，但是卻降低了影像品質。

§ 高品質
感應器不壓縮影像，直接送給 NUI執行時期，畫格速度只能到 15 FPS，而且 NUI需要更大的緩衝區。

o   影像格式

§ RGB

§ 32 位元、線性 X8R8G8B8彩色點陣圖 ( sRGB color space)

§ 應用程式在開啓串流時，需要在最後一個參數中指定 ImageType.Color或 ImageType.ColorYuv影像類型

§ YUV

§ 16 位元、Gamma校正的線性 UYVY彩色點陣圖

§ 等同RGB Gamma校正

§ 使用較少的記憶體

§ 應用程式在開啓串流時，需要指定 ImageType.ColorYuvRaw

§ 只支援到640x480 15FPS影像

§ 以上兩種格式都是來自同一組攝影機的資料

o   取得影像資訊的方法有兩種：

§ 輪詢模型 (Polling Model)
使用程式不斷的呼叫 ImageStream.GetNextFrame方法，它會傳回 ImageFrame物件，ImageFrame物件中有一個 Image屬性就是取得的影像資料；如果沒有傳回新畫格，你可以選擇等待下一張畫格到來，或者稍後再試，但是記得 NUI影像攝影機 API是永遠不會將同一張畫格提供兩次出來的。

§ 事件模型 (Event Model)
處理以下兩種事件，並在事件中讀取 e.ImageFrame.Image。

§ Runtime.DepthFrameReady (深度影像接收事件)

§ Runtime.VideoFrameReady (彩色影像接收事件)

那麼該如何擷取彩色影像呢?在使用了RuntimeOptions.UseColor初始化 Runtime物件後，就可以開始在 Runtime物件的 VideoFrameReady事件中接收彩色影像：

nui.Initialize(RuntimeOptions.UseColor);

 

 

 

nui.VideoFrameReady += new

 

     EventHandler<ImageFrameReadyEventArgs>(nui_VideoFrameReady);

 

 

 

nui.VideoStream.Open(ImageStreamType.Video, 2,

 

ImageResolution.Resolution640x480, ImageType.Color);

void nui_VideoFrameReady(object sender, ImageFrameReadyEventArgs e)

 

{

 

PlanarImage data = e.ImageFrame.Image;

 

   image1.Source = BitmapSource.Create(data.Width, data.Height, 96, 96,

 

         PixelFormats.Bgr32, null, data.Bits, data.Width * data.BytesPerPixel);

 

}

如果覺得呼叫 BitmapSource.Create方法太麻煩，可以使用 Coding4Fun函式庫中的 ToBitmapSource擴充方法

void nui_VideoFrameReady(object sender, ImageFrameReadyEventArgs e)

 

{

 

//使用 Coding4Fun函式庫，image1 是 WPF 的 Image控制項

 

   image1.Source = e.ImageFrame.ToBitmapSource();           

 

}

六、取得深度影像

深度影像就是由紅外線發射器和紅外線 CMOS攝影機共同取得的動態影像畫面 (如下圖右邊的影像)：

1.      深度資料
在深度串流的畫格中，每一個像素 (16位元)的資料，表示在指定的 x, y座標下，與最靠近感應器的物件的相對距離 (單位: mm)，深度距離範圍 850mm ~ 4000mm，深度 0則表示未知狀況，例如該位置是影子、過低反射 (玻璃)、過高反射 (鏡子)。

o   支援以下串流

§ 640 x 480, 320 x 240, 80 x 60

o   透過深度資料，應用程式可以

§ 追蹤使用者的動作

§ 標示出背景物件，並加以忽略

2.      深度資料取得

o   ImageFrame.Image.Bits : 這是一個一維的 byte陣列。
從影像的左上角開始，先從左到右，再從上到下，每一個像素 (2 bytes)的格式在開啓串流時由 ImageFormat指定，例如我們要計算深度影像左上角像素 (0, 0)所代表的距離：

§ ImageFormat.Depth

§ 第二個 byte左位移 8位元

§ (0,0) 距離= (int) (Bits[0] | Bits[1] << 8)

§  ImageFormat.DepthAndPlayerIndex
在 Kinect for Windows SDK中，Kinect系統處理感應器資料，標定出感應器前方兩個人的外形，並且產生玩家區段對應，這個對應資料包含在深度資料中，其中像素的值對應到在該像素位置下，最靠近感應器的那一個玩家的編號。

§ (0,0) 距離= (int) (Bits[0] >> 3 | Bits[1] << 5)

§ 較低3位元是玩家編號 (0~7)

§ 0 : 沒有玩家

§ 1 : 骨架#1

§ 2 : 骨架#2

§ …

那麼該如何擷取深度影像呢?在使用了 RuntimeOptions. UseDepth初始化 Runtime物件後，就可以開始在 Runtime物件的 DepthFrameReady事件中接收深度影像：

nui.Initialize(RuntimeOptions.UseDepth);

 

 

 

nui.DepthFrameReady += new

 

 EventHandler<ImageFrameReadyEventArgs>(nui_DepthFrameReady);

 

 

 

nui.DepthStream.Open(ImageStreamType.Depth, 2,

 

ImageResolution.Resolution640x480, ImageType.Depth);

void nui_DepthFrameReady(object sender, ImageFrameReadyEventArgs e)

 

{

 

//使用 Coding4Fun函式庫，image2 是 WPF 的 Image控制項

 

image2.Source = e.ImageFrame.ToBitmapSource();           

 

}

七、骨架追蹤

Kinect的骨架追蹤系統可以在感應器可視範圍內主動追蹤最多兩位玩家的骨架，骨架追蹤系統可以在感應器可視範圍內主動追蹤最多兩位玩家的骨架，如果某一個玩家被主動追蹤，那麼在呼叫 SkeletonEngine.GetNextFrame時會取得該玩家完整的骨架資訊，預設只有前兩個玩家是主動被追蹤的。背動骨架追蹤預設是啓動的，可以額外追蹤 4個玩家，但是由於處理速度的因素，背動追蹤下的骨架資訊有限。

NUI骨架API提供最多兩個玩家的骨架位置與方向的資訊，應用程式取得的是一堆座標的集合，稱為骨架關節位置 (skeleton joint positions)，因此在初始化 NUI 時一定要指定要使用骨架資料，並且啓動骨架追蹤。

NUI API初始化骨架追蹤的方式：

Runtime nui = new Runtime();

 

nui.Initialize(RuntimeOptions.UseSkeletalTracking);

 

nui.SkeletonFrameReady +=

 

   new EventHandler<SkeletonFrameReadyEventArgs>(

 

       nui_SkeletonFrameReady);

骨架資訊取得方式和取得彩色影像資訊類似，可以使用輪詢模型 (呼叫 SkeletonEngine.GetNextFrame 方法)或事件模型 (在 SkeletonFrameReady事件中讀取 e.SkeletonFrame.Skeletons屬性)。

void nui_SkeletonFrameReady(object sender, SkeletonFrameReadyEventArgs e)

 

{

 

   // 迴圈有可能跑多次 (多個玩家被追蹤)

 

   foreach(SkeletonData data in e.SkeletonFrame.Skeletons)

 

   {

 

       // 只要處理正在被追蹤的玩家

 

       if (data.TrackingState == SkeletonTrackingState.Tracked)

 

       {

 

           JointCollection jc = data.Joints;

 

           Vector v = jc[JointID.Head].Position;

 

           // 處理關節座標 v

 

       }

 

   }

 

}

其中你可以透過 SkeletonData的Joints集合來取得某一個玩家的所有關節的 3D座標，你可以使用 JointID這個列舉來指定要取得那一個關節的座標，例如 SkeletonData.Joints[JointID.Head].Position可以取得玩家頭部的 3D座標(Vector型別)，所有的關節位置與名稱如下圖：

關節資料說明：

·        每次最多追蹤兩個玩家

o   從六個玩家中選兩個

·        每一個玩家有一個<x, y, z>的關節座標集合

o   單位：公尺 (Joint.Position.X, Y, Z, …)

·        每一個關節都有一個對應的狀態

o   SkeletonTrackingState

§ Tracked – 表示被追蹤到了

§ PositionOnly – 表示被裁切掉、難以判斷、無法100%確定

§ NotTracked – 表示該關節沒有被追蹤到 (很少發生，但是程式要注意一下這個狀態)

如果你要將關節 3D座標轉換成螢幕上的 2D座標時，例如要在畫面上繪製人體骨架位置，可以使用以下這個函式：

Point GetDisplayPosition(Joint joint)

 

{

 

   float depthX, depthY;

 

   nui.SkeletonEngine.SkeletonToDepthImage(

 

                                           joint.Position, out depthX, out depthY);

 

   // 轉換到 320 x 240空間系統

 

   depthX = Math.Max(0, Math.Min(depthX * 320, 320)); 

 

   depthY = Math.Max(0, Math.Min(depthY * 240, 240));

 

   int colorX, colorY;

 

   nui.NuiCamera.GetColorPixelCoordinatesFromDepthPixel(

 

             ImageResolution.Resolution640x480, new ImageViewArea(),

 

             (int)depthX, (int)depthY, (short)0, out colorX, out colorY);

 

   return new Point(colorX * picColorVideo.Width / 640,

 

                                          colorY * picColorVideo.Height / 480);

 

}

另外，由於有時候因為人體的快速動作，例如微小但是高頻率發生的抖動、或者突然的大跳動，都會造成關節的雜訊，因此可以啓動關節平順化的處理功能：

·        nui.SkeletonEngine.TransformSmooth = true;

o   如果還要進一步做細步微調，可以使用TransformSmoothParameters屬性來調整：

八、總結

Kinect for Windows SDK的出現為個人電腦平台帶來了全新的應用程式操作方式，操作電腦不再侷限於鍵盤和滑鼠，透過 Kinect，不只是遊戲，只要你有創意，就可以在 Windows 7 平台上開發出有趣又有商機的 Kinect應用。

 转自：http://msdn.microsoft.com/zh-tw/hh367958.aspx