Kinect用体感来实现UI控件的点击

来源：互联网发布：pc机安装mac os x 编辑：程序博客网时间：2024/05/19 04:29

用体感来实现UI控件的点击，如点击按钮。

做法：用一个图片表示左手手掌，图片位置追踪左手手掌移动，当手掌位于UI控件的矩形内时，握拳表示点击该控件。

using UnityEngine;using System.Collections;using UnityEngine.UI;/// <summary>/// 用Kinect实现UI的点击：追踪左手手掌，移动到UI矩形内握拳表示点击该按钮。/// </summary>public class UIClick : MonoBehaviour {    public Canvas canvas;    public Image leftHandImage;  // 表示左手    public Image btnImage;       // 要被点击的UI控件    KinectManager _manager;
    void Start()    {    }    void Update()    {        if (_manager == null)        {            _manager = KinectManager.Instance;        }        // 是否初始化完成        if (_manager && _manager.IsInitialized())        {            // 是否人物被检测到            if (_manager.IsUserDetected())            {                // 获取用户ID                long userId = _manager.GetPrimaryUserID();                // 获取目标关节点的索引（以左手为例）                int jointIndex = (int)KinectInterop.JointType.HandLeft;                // 判断目标关节点是否被追踪                if (_manager.IsJointTracked(userId, jointIndex))                {                    // 获取目标关节点在Kinect坐标系（世界坐标）的位置                    Vector3 leftHandPos = _manager.GetJointKinectPosition(userId, jointIndex);                    // 左手的世界坐标 --> 屏幕坐标                    Vector3 leftHandScreenPos = Camera.main.WorldToScreenPoint(leftHandPos);                    Vector2 leftHandScreenPosTemp = new Vector2(leftHandScreenPos.x, leftHandScreenPos.y); // 降维                    // 判断左手的UGUI坐标是否在Canvas所表示的矩形内                    Vector2 leftHandUguiPos;                    if (RectTransformUtility.ScreenPointToLocalPointInRectangle((RectTransform)canvas.transform, leftHandScreenPosTemp, null, out leftHandUguiPos))                    {                        RectTransform leftHandRTF = rightHandImage.transform as RectTransform;                        // 屏幕坐标 --> UGUI坐标                        leftHandRTF.anchoredPosition = leftHandUguiPos;                    }                    // 判断左手的UGUI坐标是否在Button所表示的矩形内                    if (RectTransformUtility.RectangleContainsScreenPoint(btnImage.rectTransform, leftHandScreenPosTemp, null))                    {                        Debug.Log("在按钮中");                        // 获取左手的手势状态                        KinectInterop.HandState leftHandState = _manager.GetLeftHandState(userId);                        if (leftHandState == KinectInterop.HandState.Closed)                        {                            Debug.Log("左手握拳");                            // todo：点击按钮触发的事件                        }                    }                    else                    {                        Debug.Log("在按钮外");                    }                }            }        }    }}

注意点：

摄像机的坐标要设为Vector3.zero，且设为透视图。

获取关节点坐标要用GetJointKinectPosition()而不是GetJointPosition()

阅读全文

1 0