Kinect V2 开发专题（3）设备信息获取与音频功能探索



Kinect V2 开发专题（3）

 

1、Kinect设备信息获取

2、音频功能探索

 

 

1、Kinect设备信息获取

由于Kinect支持多台设备同连，所以，理论上，我们应该可以获取所有的设备信息，这里我们探索一下。

通过官方的AudioBasics-D2D这个Demo发现，获取Kinect设备只需要一步：

IKinectSensor* m_pKinectSensor;  GetDefaultKinectSensor(&m_pKinectSensor);

我们在接口列表中（https://msdn.microsoft.com/en-us/library/dn791996.aspx）查找，发现一个叫做 IKinectSensorCollection 的类，很显眼的是关于Sensor收集的类，我们的脚步就从这里开始。

新建一个工程，按照第二节的内容，设置属性，加入头文件。好啦，我们开始：

额，不好意思！为什么呢？因为坑x的微软在去年八月份的时候把这个功能给Cut了，所以...你是不可能用的，将来可能还会加上。我们了解下就好了，下面我找了一份旧代码大家看看就可以了。

    IKinectSensorCollection* pKinectCollection = nullptr;    IEnumKinectSensor* pEnumKinect = nullptr;    IKinectSensor* pKinect = nullptr;    // 获取Kinect集合    HRESULT hr = ::GetKinectSensorCollection(&pKinectCollection);    // 获取Kinect枚举器    if (SUCCEEDED(hr)){        hr = pKinectCollection->get_Enumerator(&pEnumKinect);    }    // 枚举Kinect    if (SUCCEEDED(hr)){        BOOLEAN available = false;        while (true){            // 获取下一个            if (SUCCEEDED(pEnumKinect->GetNext(&pKinect))){                // 判断有效性                pKinect->get_IsAvailable(&available);                if (available && YourJudgmentFunc(pKinect)){                    break;                }                SafeRelease(pKinect);            }            else                break;        }    }    SafeRelease(pEnumKinect);    SafeRelease(pKinectCollection);

 

不要在意这些细节，这都是小事。我们可以通过 GetDefaultKinectSensor(_COM_Outptr_ IKinectSensor** defaultKinectSensor); 这个函数获取默认的Kinect设备，哈哈哈！

下面是一段测试的小程序：

#include "stdafx.h"#include "kinect.h"int _tmain(int argc, _TCHAR* argv[]){printf("Hello, Wellcome to kinect world!\n");//IKinectSensorCollection aa;IKinectSensor* bb;HRESULT hr = GetDefaultKinectSensor(&bb);if ( FAILED(hr) ){printf("No Kinect connect to your pc!\n");goto endstop;}BOOLEAN bAvaliable = 0;bb->get_IsAvailable(&bAvaliable);printf("bAvaliable： %d\n", bAvaliable);BOOLEAN bIsOpen = 0;bb->get_IsOpen(&bIsOpen);printf("bIsOpen： %d\n", bIsOpen);DWORD dwCapability = 0; bb->get_KinectCapabilities(&dwCapability);printf("dwCapability： %d\n", dwCapability);TCHAR bbuid[256] = { 0 };bb->get_UniqueKinectId(256, bbuid);printf("UID: %s\n",bbuid);endstop:system("pause");return 0;}

 

在没有插上Kinect时的结果：

 

 

这里很容易发现一个奇怪的问题，获取默认Kinect设备成功，但是这个设备是不可用的，什么信息都获取不到，看来 GetDefaultKinectSensor 很不靠谱啊，需要通过 isAvaliable 判断一下才能使用。

下面，我们插上Kinect设备继续测试：

 

晕啊，傻眼了，为什么会这样子呢？我调试啊调试，然后拿着SDK中的Demo调试，甚至加上了bb->Open()调试，还是那个样子。经多方折腾，最终发现了Kinect不得不说的秘密啊！

Kinect默认是关闭状态，你必须Open之后才能判断是否有效等等内容。但是呢，Kinect的Open是需要时间的，在我的电脑上需要3S左右，否则即便isOpen为1，但是avaliable可能还是0。

再继续研究Kinect的头文件发现，它使用了rpc技术，这样导致函数的状态的回复不可能像本地机器码跑得那么快，所以你需要一定的时间等待Kinect更新自身的状态！

新的代码如下：

#include "stdafx.h"#include "kinect.h"int _tmain(int argc, _TCHAR* argv[]){printf("Hello, Wellcome to kinect world!\n");IKinectSensor* bb; //申请一个Sensor指针HRESULT hr = GetDefaultKinectSensor(&bb); // 获取一个默认的Sensorif ( FAILED(hr) ){printf("No Kinect connect to your pc!\n");goto endstop;}BOOLEAN bIsOpen = 0;bb->get_IsOpen(&bIsOpen); // 查看下是否已经打开printf("bIsOpen： %d\n", bIsOpen);if ( !bIsOpen ) // 没打开，则尝试打开{hr = bb->Open();if ( FAILED(hr) ){printf("Kinect Open Failed!\n");goto endstop;}printf("Kinect opened! But it need sometime to work!\n");// 这里一定要多等会，否则下面的判断都是错误的printf("Wait For 3000 ms...\n");Sleep(3000);}bIsOpen = 0;bb->get_IsOpen(&bIsOpen); // 是否已经打开printf("bIsOpen： %d\n", bIsOpen);BOOLEAN bAvaliable = 0;bb->get_IsAvailable(&bAvaliable); // 是否可用printf("bAvaliable： %d\n", bAvaliable);DWORD dwCapability = 0; bb->get_KinectCapabilities(&dwCapability); // 获取容量printf("dwCapability： %d\n", dwCapability);TCHAR bbuid[256] = { 0 };bb->get_UniqueKinectId(256, bbuid); // 获取唯一IDprintf("UID: %s\n",bbuid);bb->Close();endstop:system("pause");return 0;}

 

接上Kinect结果如下：

 

哈哈，圆满完成任务。只不过，实际情况应该轮询检查Kinect的状态，不应该使用Sleep()草草替代了。

 

2、Kinect音频功能探索

由于Kinect音频是一个麦克风矩阵，所以可以进行声音方向的探测，这个功能比较喜人。当然，你也可以使用它结合微软的语音识别引擎，进行语音识别和控制，这个是个比较大的专题，这里不做讨论。

我们先来进行声源的判断。接着上面的内容，通过GetDefaultKinectSensor 获取默认Kinect设备，然后Open，接着就可以通过它的成员函数 get_AudioSource 获取音频源，然后根据音频源的成员函数 get_AudioBeams 获取波束列表，然后 OpenAudioBeam 获取第一个波束，为什么是第一个呢？因为现在只支持第一个。最后波束beam的成员函数get_BeamAngle 获取角度，get_BeamAngleConfidence 获取对应的可信度。

 

#include "stdafx.h"#include "kinect.h"int _tmain(int argc, _TCHAR* argv[]){printf("Hello, Wellcome to kinect world!\n");IKinectSensor* bb; //申请一个Sensor指针HRESULT hr = GetDefaultKinectSensor(&bb); // 获取一个默认的Sensorif ( FAILED(hr) ){printf("No Kinect connect to your pc!\n");goto endstop;}BOOLEAN bIsOpen = 0;bb->get_IsOpen(&bIsOpen); // 查看下是否已经打开printf("bIsOpen： %d\n", bIsOpen);if ( !bIsOpen ) // 没打开，则尝试打开{hr = bb->Open();if ( FAILED(hr) ){printf("Kinect Open Failed!\n");goto endstop;}printf("Kinect opened! But it need sometime to work!\n");// 这里一定要多等会，否则下面的判断都是错误的printf("Wait For 3000 ms...\n");Sleep(3000);}bIsOpen = 0;bb->get_IsOpen(&bIsOpen); // 是否已经打开printf("bIsOpen： %d\n", bIsOpen);BOOLEAN bAvaliable = 0;bb->get_IsAvailable(&bAvaliable); // 是否可用printf("bAvaliable： %d\n", bAvaliable);DWORD dwCapability = 0; bb->get_KinectCapabilities(&dwCapability); // 获取容量printf("dwCapability： %d\n", dwCapability);TCHAR bbuid[256] = { 0 };bb->get_UniqueKinectId(256, bbuid); // 获取唯一IDprintf("UID: %s\n",bbuid);// 音频数据获取IAudioSource* audios = nullptr;UINT nAudioCount = 0;hr = bb->get_AudioSource(&audios);if ( FAILED(hr) ){printf("Audio Source get failed!\n");goto endclose;}IAudioBeam* audiobm = nullptr;IAudioBeamList* audiobml = nullptr;audios->get_AudioBeams(&audiobml);audiobml->OpenAudioBeam(0, &audiobm); // 目前只支持第一个float fAngle = 0.0f;float fAngleConfidence = 0.0f;while (true){fAngle = 0.0f;fAngleConfidence = 0.0f;audiobm->get_BeamAngle(&fAngle); // 获取音频的角度，[ -0.872665f, 0.8726665f ]audiobm->get_BeamAngleConfidence(&fAngleConfidence); // 获取音频的可信度（0 - 1）printf("Angle: %3.2f (%1.2f)\n", (fAngle/3.1415926f)*180.0f, fAngleConfidence);Sleep(200);}endclose:bb->Close();endstop:system("pause");return 0;}

 

下面进行音频数据的获取。

我们可以用一般获取录音一样获取音频流，请注意，从这里获取的音频流是原始数据：麦克风列阵获取的多声道音频，并且没有利用麦克风列阵进行降噪处理。代码可以查看SDK自带的获取原始数据的例子，因为与通用设备打交道，很麻烦，这里不做说明。

这里说的是利用自带的方法，获取经处理的音频数据。经过处理的数据信息如下：

l 编码:    32位标准浮点(IEEE FLOAT) 

l 声道:    1 

l 采样率: 16000Hz

 

SDK中获取处理后的音频流有两种方法，一种是音频帧，和之前的各种帧差不多：

    

// 获取音频源(AudioSource)      if (SUCCEEDED(hr)){          hr = m_pKinect->get_AudioSource(&pAudioSource);      }      // 再获取音频帧读取器      if (SUCCEEDED(hr)){          hr = pAudioSource->OpenReader(&m_pAudioBeamFrameReader);      }    // 注册临帧事件      if (SUCCEEDED(hr)){          m_pAudioBeamFrameReader->SubscribeFrameArrived(&m_hAudioBeamFrameArrived);      }  

 

这样初始化。使用后，像之前那样，根据事件获取 AudioBeamFrameArrivedEventArgs， 再获取 AudioBeamFrameReference 音频帧引用，再获取 AudioBeamFrameList 音频帧链表，目前链表只有一个元素，直接获取 AudioBeamFrame音频帧。音频帧可能包含复数 AudioBeamSubFrame 音频副帧(比如本人这里包含2个)，这个东西才能获取音频流的真正信息。

还有就是IStream，前面的这不是指C++标准库的输入流，而是COM组件的“流接口”，可读可写。初始化代码如下：

   

 if (SUCCEEDED(hr))    {        hr = m_pKinectSensor->get_AudioSource(&pAudioSource);    }    if (SUCCEEDED(hr))    {        hr = pAudioSource->get_AudioBeams(&pAudioBeamList);    }    if (SUCCEEDED(hr))    {        hr = pAudioBeamList->OpenAudioBeam(0, &m_pAudioBeam);    }    if (SUCCEEDED(hr))    {                hr = m_pAudioBeam->OpenInputStream(&m_pAudioStream);    }

m_pAudioSteam就是Steam对象，使用时ISteam::Read(void*, ULONG, ULONG*)主动获取音频数据。相比而言，使用音频帧既可以主动获取，又能使用事件机制，而Stream只能主动获取。

 

我们这里使用第二种流的方式，编写一个Demo，代码如下:

#include "stdafx.h"#include "kinect.h"#define _USE_MATH_DEFINES#include <math.h>int _tmain(int argc, _TCHAR* argv[]){printf("Hello, Wellcome to kinect world!\n");IKinectSensor* bb; //申请一个Sensor指针HRESULT hr = GetDefaultKinectSensor(&bb); // 获取一个默认的Sensorif ( FAILED(hr) ){printf("No Kinect connect to your pc!\n");goto endstop;}BOOLEAN bIsOpen = 0;bb->get_IsOpen(&bIsOpen); // 查看下是否已经打开printf("bIsOpen： %d\n", bIsOpen);if ( !bIsOpen ) // 没打开，则尝试打开{hr = bb->Open();if ( FAILED(hr) ){printf("Kinect Open Failed!\n");goto endstop;}printf("Kinect opened! But it need sometime to work!\n");// 这里一定要多等会，否则下面的判断都是错误的printf("Wait For 3000 ms...\n");Sleep(3000);}bIsOpen = 0;bb->get_IsOpen(&bIsOpen); // 是否已经打开printf("bIsOpen： %d\n", bIsOpen);BOOLEAN bAvaliable = 0;bb->get_IsAvailable(&bAvaliable); // 是否可用printf("bAvaliable： %d\n", bAvaliable);DWORD dwCapability = 0; bb->get_KinectCapabilities(&dwCapability); // 获取容量printf("dwCapability： %d\n", dwCapability);TCHAR bbuid[256] = { 0 };bb->get_UniqueKinectId(256, bbuid); // 获取唯一IDprintf("UID: %s\n",bbuid);// 音频数据获取IAudioSource* audios = nullptr;UINT nAudioCount = 0;hr = bb->get_AudioSource(&audios);if ( FAILED(hr) ){printf("Audio Source get failed!\n");goto endclose;}IAudioBeam* audiobm = nullptr;IAudioBeamList* audiobml = nullptr;audios->get_AudioBeams(&audiobml);audiobml->OpenAudioBeam(0, &audiobm); // 目前只支持第一个IStream* stm = nullptr;audiobm->OpenInputStream(&stm);audios->Release();audiobm->Release();float fAngle = 0.0f;float fAngleConfidence = 0.0f;ULONG lRead = 0;const ULONG lBufferSize =3200;float* fDataArr = new float[lBufferSize];while (true){fAngle = 0.0f;fAngleConfidence = 0.0f;audiobm->get_BeamAngle(&fAngle); // 获取音频的角度，[ -0.872665f, 0.8726665f ]audiobm->get_BeamAngleConfidence(&fAngleConfidence); // 获取音频的可信度（0 - 1）if ( fAngleConfidence > 0.5f ) printf("Angle: %3.2f (%1.2f)\n", (fAngle)*180.0f/static_cast<float>(M_PI), fAngleConfidence);// audio  datalRead = 0;memset(fDataArr, 0, lBufferSize);stm->Read(fDataArr, lBufferSize, &lRead);if ( lRead > 0 ){printf("Audio Buffer: %d\n", lRead);}Sleep(200);}endclose:bb->Close();endstop:system("pause");return 0;}

完毕