欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识！
您现在的位置是： 首页

Kinect学习（五）：提取带用户ID的深度数据

程序员文章站 2022-05-13 15:11:38
...

前言

在前面的一篇文章中讨论了如何从Kinect获取深度图：Kinect学习（四）：提取深度数据。
这里要对其进行拓展，Kinect可以获取两种格式的深度图：

  1. 不带用户ID的深度数据，也是存储在16位的变量中，但是只使用了前12位，用来表示深度。
  2. 带用户ID的深度数据，16位，前3位表示用户ID，最多可以识别6个人，后13位表示深度；

在前一篇文章（Kinect学习（四）：提取深度数据）中是使用的就是前者，这里要使用后者。通过带用户ID的深度数据，我们可以很轻易地得到用户在图像中的位置与深度信息，利于后续的抠图等等的操作。

代码

惯例，先上代码。

#include <Windows.h>
#include <iostream>
#include <NuiApi.h>
#include <opencv2/opencv.hpp>

using namespace std;
using namespace cv;

typedef struct structBGR {
    BYTE blue;
    BYTE green;
    BYTE red;
} BGR;

// 处理深度数据的每一个像素，如果属于同一个用户的ID，那么像素就标为同种颜色，不同的用户，  
// 其ID不一样，颜色的标示也不一样，如果不属于某个用户的像素，那么就采用原来的深度值
BGR Depth2RGB(USHORT depthID)
{
    //每像素共16bit的信息，其中最低3位是ID（所捕捉到的人的ID），剩下的13位才是信息 
    USHORT realDepth = (depthID & 0xfff8) >> 3; //深度信息，高13位
    USHORT player = depthID & 0x0007;   //提取用户ID信息，低3位

    //因为提取的信息是距离信息，为了便于显示，这里归一化为0-255
    BYTE depth = (BYTE)(255 * realDepth / 0x1fff);

    BGR color_data;
    color_data.blue = color_data.green = color_data.red = 0;

    //RGB三个通道的值都是相等的话，就是灰度的  
    //Kinect系统能够处理辨识传感器前多至6个人物的信息，但同一时刻最多只有2个玩家可被追踪（即骨骼跟踪）
    switch (player)
    {
    case 0:
        color_data.blue = depth / 2;
        color_data.green = depth / 2;
        color_data.red = depth / 2;
        break;
    case 1:
        color_data.red = depth;
        break;
    case 2:
        color_data.green = depth;
        break;
    case 3:
        color_data.blue = depth;
        break;
    case 4:
        color_data.blue = depth;
        color_data.green = depth;
        color_data.red = depth / 4;
        break;
    case 5:
        color_data.blue = depth;
        color_data.green = depth / 4;
        color_data.red = depth;
        break;
    case 6:
        color_data.blue = depth / 4;
        color_data.green = depth;
        color_data.red = depth;
        break;
    }

    return color_data;
}


int main(int argc, char * argv[])
{
    cv::Mat img;
    img.create(240, 320, CV_8UC3);

    // 1、初始化NUI
    HRESULT hr = NuiInitialize(NUI_INITIALIZE_FLAG_USES_DEPTH_AND_PLAYER_INDEX);
    if (FAILED(hr))
    {
        cout << "NuiIntialize failed" << endl;
        return hr;
    }

    // 2、定义事件句柄   
    // 创建读取下一帧的信号事件句柄，控制KINECT是否可以开始读取下一帧数据  
    HANDLE nextDepthFrameEvent = CreateEvent(NULL, TRUE, FALSE, NULL);
    HANDLE depthStreamHandle = NULL;    // 保存图像数据流的句柄，用以提取数据 

    // 3、打开Kinect设备的深度图数据通道，使用depthStreamHandle保存该数据流的句柄，以便于后续读取
    hr = NuiImageStreamOpen(NUI_IMAGE_TYPE_DEPTH_AND_PLAYER_INDEX, NUI_IMAGE_RESOLUTION_320x240, 0, 2, nextDepthFrameEvent, &depthStreamHandle);
    if (FAILED(hr))
    {
        cout << "Could not open color image stream video" << endl;
        NuiShutdown();
        return hr;
    }
    cv::namedWindow("depthImage", CV_WINDOW_AUTOSIZE);

    // 4、开始读取深度数据
    while (1)
    {
        const NUI_IMAGE_FRAME * pImageFrame = NULL;

        // 4.1、无限等待新的数据，等到后就返回
        if (WaitForSingleObject(nextDepthFrameEvent, INFINITE) == 0)
        {
            // 4.2、从刚才打开数据流的流句柄中得到该帧的数据，读取到的数据地址存在pImageFrame
            hr = NuiImageStreamGetNextFrame(depthStreamHandle, 0, &pImageFrame);
            if (FAILED(hr))
            {
                cout << "Could not get depth image" << endl;
                NuiShutdown();
                return hr;
            }

            INuiFrameTexture * pTexture = pImageFrame->pFrameTexture;
            NUI_LOCKED_RECT LockedRect;

            // 4.3、提取数据帧到LockedRect，它包括了两个数据对象：pitch每行字节数，pBits第一个字节地址
            //并锁定数据，这样当我们读数据的时候，kinect就不会去修改它 
            pTexture->LockRect(0, &LockedRect, NULL, 0);
            // 4.4、确认得到的数据是否有效
            if (LockedRect.Pitch != 0)
            {
                //4.5、将数据转换为OpenCV的Mat格式 
                for (int i = 0;i < img.rows;i++)
                {
                    uchar * ptr = img.ptr<uchar>(i);

                    //深度图像数据含有两种格式，这里像素的低12位表示一个深度值，高4位未使用；
                    //这里是第二种：既表示深度值又含有人物序号，则像素值的高13位保存了深度值，低三位保存用户序号，
                    //注意这里需要转换，因为每个数据是2个字节，存储的同上面的颜色信息不一样，
                    uchar *pBufferRun = (uchar*)(LockedRect.pBits) + i * LockedRect.Pitch;
                    USHORT * pBuffer = (USHORT*)pBufferRun;

                    for (int j = 0;j < img.cols;j++)
                    {
                        // ptr[j] = 255 - (uchar)(255 * pBuffer[j] / 0x0fff);   //直接将数据归一化处理
                        // ptr[j] = (uchar)(255 * pBuffer[j] / 0x0fff); //直接将数据归一化处理

                        BGR rgb = Depth2RGB(pBuffer[j]);
                        ptr[3 * j] = rgb.blue;
                        ptr[3 * j + 1] = rgb.green;
                        ptr[3 * j + 2] = rgb.red;
                    }
                }

                cv::imshow("depthImage", img);
            }
            else
            {
                cout << "Buffer length of received texture is bogus\r\n" << endl;
            }

            // 5、这帧已经处理完了，将其解锁，更新下一帧数据
            pTexture->UnlockRect(0);
            // 6、释放这一阵数据，准备接受下一帧
            NuiImageStreamReleaseFrame(depthStreamHandle, pImageFrame);
        }

        if (cv::waitKey(20) == 27)
        {
            break;
        }
    }

    // 7、关闭NUI连接
    NuiShutdown();


    return 0;
}
}

结果

Kinect学习（五）：提取带用户ID的深度数据

Kinect学习（五）：提取带用户ID的深度数据

说明

代码的套路大体上与Kinect学习（四）：提取深度数据总是一样的，只有少部分不同。一样的地方不做赘述了，请自行查阅代码。

1、数据读取

  • NUI初始化的参数要改为：NUI_INITIALIZE_FLAG_USES_DEPTH_AND_PLAYER_INDEX；
  • 打开深度图数据流时的图像类型改为：NUI_IMAGE_TYPE_DEPTH_AND_PLAYER_INDEX；

2、深度数据处理

由于这里的深度数据格式与之前不同，所以另外定义了一个函数来处理带用户ID的深度数据。
首先是自定义了一个结构体：

typedef struct structBGR {
    BYTE blue;
    BYTE green;
    BYTE red;
} BGR;

用来表示一个像素的RGB值。

然后，定义深度数据处理函数：

// 处理深度数据的每一个像素，如果属于同一个用户的ID，那么像素就标为同种颜色，不同的用户，  
// 其ID不一样，颜色的标示也不一样，如果不属于某个用户的像素，那么就采用原来的深度值
BGR Depth2RGB(USHORT depthID)
{
    //每像素共16bit的信息，其中最低3位是ID（所捕捉到的人的ID），剩下的13位才是信息 
    USHORT realDepth = (depthID & 0xfff8) >> 3; //深度信息，高13位
    USHORT player = depthID & 0x0007;   //提取用户ID信息，低3位

    //因为提取的信息是距离信息，为了便于显示，这里归一化为0-255
    BYTE depth = (BYTE)(255 * realDepth / 0x1fff);

    BGR color_data;
    color_data.blue = color_data.green = color_data.red = 0;

    //RGB三个通道的值都是相等的话，就是灰度的  
    //Kinect系统能够处理辨识传感器前多至6个人物的信息，但同一时刻最多只有2个玩家可被追踪（即骨骼跟踪）
    switch (player)
    {
    case 0:
        color_data.blue = depth / 2;
        color_data.green = depth / 2;
        color_data.red = depth / 2;
        break;
    case 1:
        color_data.red = depth;
        break;
    case 2:
        color_data.green = depth;
        break;
    case 3:
        color_data.blue = depth;
        break;
    case 4:
        color_data.blue = depth;
        color_data.green = depth;
        color_data.red = depth / 4;
        break;
    case 5:
        color_data.blue = depth;
        color_data.green = depth / 4;
        color_data.red = depth;
        break;
    case 6:
        color_data.blue = depth / 4;
        color_data.green = depth;
        color_data.red = depth;
        break;
    }

    return color_data;
}

从低13位提取出深度数据，高3位提取出ID号。根据ID和深度的不同显示不同的颜色。

参考资料

  1. https://blog.csdn.net/zouxy09/article/details/8151044
  2. https://blog.csdn.net/timebomb/article/details/7169372
相关标签： Kinect

上一篇： 滑动验证码

下一篇： 『无欲则无求』Linux系统管理 — 82、Linux进程的查看（top命令）

推荐阅读