NITE 2与OpenCV结合的第二个程序（提取人体骨骼坐标）

温故而知新——NITE 2的基本使用主要包括以下几个步骤：

1. 初始化NITE环境： nite::NiTE::initialize();

2. 创建User跟踪器： nite::UserTracker mUserTracker; mUserTracker.create();

3. 创建并读取User Frame信息：nite::UserTrackerFrameRef mUserFrame; mUserTracker.readFrame( &mUserFrame );

4. 从User Frame信息中获取User信息: const nite::Array<nite::UserData>& aUsers = mUserFrame.getUsers();然后根据User信息开始人体骨骼跟踪识别。

5. 释放Frame信息：mUserFrame.release();

6. 关闭跟踪器：mUserTracker.destroy();

7. 最后关闭NITE环境：nite::NiTE::shutdown();

下面是简单的右手骨骼坐标跟踪，并显示右手坐标信息的程序代码：

// YeNITE2SimpleUsingOpenCV_Skeleton.cpp : 定义控制台应用程序的入口点。
//

#include "stdafx.h"
#include <iostream>

// 载入NiTE.h头文件
#include <NiTE.h>

// using namespace
using namespace std;

int main( int argc, char** argv )
{
// 初始化NITE
nite::NiTE::initialize();

// 创建User跟踪器
nite::UserTracker mUserTracker;
mUserTracker.create();

nite::UserTrackerFrameRef mUserFrame;
for( int i = 0; i < 1000; ++ i )
{
// 读取User Frame信息
mUserTracker.readFrame( &mUserFrame );

// 从User Frame信息中获取User信息
const nite::Array<nite::UserData>& aUsers = mUserFrame.getUsers();

// Frame中User的个数
for( int i = 0; i < aUsers.getSize(); ++ i )
{
const nite::UserData& rUser = aUsers[i];

// 当有User用户出现在Kinect面前，则判断并显示
if( rUser.isNew() )
{
cout << "New User [" << rUser.getId() << "] found." << endl;

// 开始人体骨骼跟踪
mUserTracker.startSkeletonTracking( rUser.getId() );
}

// 获取骨骼坐标
const nite::Skeleton& rSkeleton = rUser.getSkeleton();
if( rSkeleton.getState() == nite::SKELETON_TRACKED )
{
// 得到右手坐标
const nite::SkeletonJoint& righthand
= rSkeleton.getJoint( nite::JOINT_RIGHT_HAND );
const nite::Point3f& position = righthand.getPosition();
cout << "右手坐标： " << position.x << "/" << position.y << "/" << position.z << endl;
}

}
}

// 释放
mUserFrame.release();

// 关闭跟踪器
mUserTracker.destroy();

// 关闭NITE环境
nite::NiTE::shutdown();

return 0;
}

程序执行结果如下：


但通过对上述程序代码观察发现，在对人体骨骼跟踪的时候，未做出（“投降”和“双手抱胸”）的动作，也可以获取骨骼坐标信息。难道在NITE2骨骼跟踪的时候，人体姿势检测是多余的吗？这个我的理解是：似乎姿势跟踪将会变成鸡肋（完全靠自己的想象。。。）。

接着借助于OpenCV等常用工具库，看看骨骼坐标在深度图像下的定位和显示效果，直接上代码：

// YeNite2SimpleUsingOpenCV.cpp : 定义控制台应用程序的入口点。
//

#include "stdafx.h"
#include <iostream>

// 载入NiTE.h头文件
#include <NiTE.h>

// 载入OpenCV头文件
#include "opencv2/opencv.hpp"
#include <opencv2/core/core.hpp>
#include <opencv2/highgui/highgui.hpp>
#include <opencv2/imgproc/imgproc.hpp>

using namespace std;
using namespace cv;

int main( int argc, char** argv )
{

// 初始化NITE
nite::NiTE::initialize();

// 创建User跟踪器
nite::UserTracker* mUserTracker = new nite::UserTracker;
mUserTracker->create();

// 创建OpenCV图像窗口
namedWindow( "Skeleton Image",  CV_WINDOW_AUTOSIZE );

// 循环读取数据流信息并保存在HandFrameRef中
nite::UserTrackerFrameRef mUserFrame;

while( true )
{
// 读取Frame信息
nite::Status rc = mUserTracker->readFrame(&mUserFrame);
if (rc != nite::STATUS_OK)
{
cout << "GetNextData failed" << endl;
return 0;
}

// 将深度数据转换成OpenCV格式
const cv::Mat mHandDepth( mUserFrame.getDepthFrame().getHeight(), mUserFrame.getDepthFrame().getWidth(), CV_16UC1,
(void*)mUserFrame.getDepthFrame().getData());

// 为了让深度图像显示的更加明显一些，将CV_16UC1 ==> CV_8U格式
cv::Mat mScaledHandDepth, thresholdDepth;
mHandDepth.convertTo( mScaledHandDepth, CV_8U, 255.0 / 10000 );

// 二值化处理，为了显示效果明显
cv::threshold(mScaledHandDepth, thresholdDepth, 50, 255, 0);

// 从User Frame信息中获取User信息
const nite::Array<nite::UserData>& aUsers = mUserFrame.getUsers();

// Frame中User的个数
for( int i = 0; i < aUsers.getSize(); ++ i )
{
const nite::UserData& rUser = aUsers[i];

// 当有User用户出现在Kinect面前，则判断并显示
if( rUser.isNew() )
{
cout << "New User [" << rUser.getId() << "] found." << endl;

// 开始人体骨骼跟踪
mUserTracker->startSkeletonTracking( rUser.getId() );
}

// 获取骨骼坐标
const nite::Skeleton& rSkeleton = rUser.getSkeleton();
if( rSkeleton.getState() == nite::SKELETON_TRACKED )
{
// 只得到前8个骨骼点坐标
for(int i = 0; i < 8; i++)
{
// 得到骨骼坐标
const nite::SkeletonJoint& skeletonJoint
= rSkeleton.getJoint((nite::JointType)i);
const nite::Point3f& position = skeletonJoint.getPosition();

float depth_x, depth_y;

// 将骨骼点坐标映射到深度坐标中
mUserTracker->convertJointCoordinatesToDepth(position.x, position.y, position.z, &depth_x, &depth_y);

cv::Point point((int)depth_x, (int)depth_y);

// 将获取的深度图像中相对应的坐标点重新赋值为255.即在深度图像中显示出各个骨骼点。
thresholdDepth.at<uchar>(point) = 255;
}

// 显示图像
cv::imshow( "Skeleton Image", thresholdDepth );
}

}

// 终止快捷键
if( cv::waitKey(1) == 'q')
break;
}

// 关闭Frame
mUserFrame.release();

// 关闭跟踪器
mUserTracker->destroy();

// 关闭NITE环境
nite::NiTE::shutdown();

return 0;
}

上图：

图上“白点”就是骨骼点。

需要了解具体的骨骼点信息（位置、方向，以及可靠性等），可以看官网提供的参考文献。我觉得遗憾的是，目前提供的15个骨骼点坐标不包括了手腕等其它骨骼点、而且只能得到全身的，不能单独获取上半身骨骼坐标。

结合程序注释和之前的博文内容，我想最后一个程序应该挺好理解的。根据自己的感觉走，感觉写代码，没做封装、优化、重构，完全是面向过程，而且肯定还存在细节的问题，会在后面进一步优化的。

写的粗糙，欢迎指正批评~~~