Kinect2.0 挥手动作的识别(C++实现)

最近刚入手一个Kinect 2.0，但是感觉学起来不容易，网上的资料并不多，搜了很多都是一代的资料，只能对着官方给的例子一个个的看，不懂得地方查函数库。在网上看到了一篇挥手动作识别的例子，觉得蛮有意思，但是，是针对一代的版本，在二代中跑不起来，特地改了一下，全当练练手。由于是新手，有不准确的地方，还请各位多指导。原文链接：点击这里

#include <Windows.h>
#include <Kinect.h>
#include <iostream>
#include<ctime>
#include<cassert>
#include<process.h>

#pragma comment(lib,"kinect20.lib")

using namespace std;

#define _DDDEBUG

static int CTRL = 0;

template<class Interface>
inline void SafeRelease(Interface *& pInterfaceToRelease)
{
if (pInterfaceToRelease != NULL){
pInterfaceToRelease->Release();
pInterfaceToRelease = NULL;
}
}

// 记录手势当前位置
enum GesturePos{ //
NonePos = 0,
Left,
Right,
Neutral
};

// 判断识别状态
enum DetectionState{
NoneState = 0,
Success,
Failed,
InProgress
};

// 判断手势需要的数据
struct DataState{
GesturePos Pos;     // 每个人的左右手
DetectionState State; // 状态
int times;
time_t timestamp;
void Reset() // 状态的重置
{
Pos = GesturePos::NonePos;
State = DetectionState::NoneState;
times = 0;
timestamp = 0;
}
};

// 完成手势判断逻辑功能
class GestureDetection{
public:
GestureDetection(float neutral_threshold, int times, double difftimes)
: neutral_threshold(neutral_threshold)
, times(times)
, difftimes(difftimes)
, left_hand(0)
, right_hand(1)
{
for (int i = 0; i < 1; i++)
{
wave_datas[i][left_hand].Reset();
wave_datas[i][right_hand].Reset();
}
}
// 功能：循环接收骨骼数据，如果识别出为挥手动作则输出：success，
// 识别失败输出：failed，
void Update(IBody * frame)
{

if (NULL == frame)
return;
for (int i = 0; i < 1; i++)
{
JudgeState(frame, wave_datas[i][right_hand],true);
}
}
private:
DataState wave_datas[1][2];        // 记录每个人，每只手的状态
const int left_hand;                            // 左手 ID
const int right_hand;                           // 右手 ID
// 中间位置阀值：在该范围内的都认为手在中间位置（相对于肘部的 x 坐标）
const float neutral_threshold;
// 挥手次数阀值，达到该次数认为是挥手
const int times;
// 时间限制，如果超过该时间差依然识别不出挥手动作则认为识别失败
const double difftimes;

// 判断当前的状态成功输出：success，并生成事件：DetectionEvent
// 失败输出 failed，供 UpDate 函数调用
void JudgeState(IBody *n_body, DataState& data,bool isLeft = true)
{

Joint joints[JointType_Count]; // 定义骨骼信息

n_body->GetJoints(JointType::JointType_Count, joints);  // 获取骨骼信息节点

int elbow = JointType_ElbowRight;

int hand = JointType_HandRight;

if (!IsSkeletonTrackedWell(n_body, isLeft))  //  如果手部的位置在肘部之上  则认为为真
{
if (data.State == InProgress)
{
#ifdef _DDEBUG
cout << "not a well skeleton, detection failed!\n";
#endif
data.Reset();
return;
}
}

float curpos = joints[hand].Position.X;
float center = joints[elbow].Position.X;  //  得到人手部和肘部的X坐标的位置  都是右手

if (!IsNeutral(curpos, center))  //  如果手部不是在中立的位置
{
if (data.Pos == NonePos)
{
#ifdef _DDEBUG
cout << "found!\n";
#endif

data.times++;

if ( get_length(curpos, center) == -1 )
{
data.Pos = Left;
}
else if (get_length(curpos, center) == 1)
{
data.Pos = Right;
}
cout << "times:" << data.times << endl;
if (data.Pos == Left)
{
cout << "left !\n";
}
else if (data.Pos == Right)
{
cout << "right!\n";
}
else
cout << "you can't see me!\n";

data.State = InProgress;
data.timestamp = time(NULL);

}

else if (  ( (data.Pos == Left) && get_length(curpos, center) == 1)  || ( (data.Pos == Right) && get_length(curpos, center) == -1  ) )  // 左摆找右摆  右摆找左摆
{

assert(data.State == InProgress);
data.times++;
data.Pos = (data.Pos == Left) ? Right : Left;
#ifdef _DDDEBUG
cout << "times:" << data.times << endl;
if (data.Pos == Left)
{
cout << "left !\n";
}
else if (data.Pos == Right)
{
cout << "right!\n";
}
else
cout << "you can't see me!\n";
#endif
if (data.times >= times)
{
#ifdef _DDDEBUG
cout << "success!\n";
#endif
CTRL = 1;
data.Reset();
}
else if (difftime(time(NULL), data.timestamp) > difftimes)
{
#ifdef _DDDEBUG
cout << "time out, detection failed!\n";
cout << "data.times : " << data.times << endl;
#endif
data.Reset();
}
}
}

}

bool IsLeftSide(float curpos, float center)
{
int i = 0;
i = get_length(curpos,center);
if (i == -1)
{
return true;
}
else
{
return false;
}
}
bool IsRightSide(float curpos, float center)
{
int i = 0;
i = get_length(curpos, center);
if (i == 1)
{
return true;
}
else
{
return false;
}
}
bool IsNeutral(float curpos, float center) // 参数分别为手部的位置和肘部的位置  判断是否是中立的状态
{
int i = 0;
i = get_length(curpos, center);
if (i == 0)
{
return true;  // 是中立的状态
}
else
{
return false;
}
}

int get_length(float shou,float zhou)   //  在这里定义  右边是 1 左边是 -1 中间是 0
{
if (shou >= 0 && zhou >= 0)
{
if ((shou - zhou) > neutral_threshold)
{
return 1; // 在右边
}
else if ((shou - zhou) < neutral_threshold || (zhou - shou) > -neutral_threshold)
{
return 0;  // 中立
}
else
{
return -1;   // 左边
}
}
else if (shou >= 0 && zhou <= 0)
{
if ((shou + (-zhou)) > neutral_threshold)
{
return 1; // 右边
}
else
{
return 0; // 中立
}
}
else if (shou <= 0 && zhou >= 0)
{
if ( ((-shou) + zhou) > neutral_threshold )
{
return -1; // 左边
}
else
{
return 0; // 中立
}
}
else
{
if ((-shou) >= (-zhou))
{
if (((-shou) + zhou) > neutral_threshold)
{
return -1; // 左边
}
else if (((-shou) + zhou) < neutral_threshold)
{
return 0; // 中立
}
else
{
return 1;  // 右边
}
}
else
{
if (((-zhou) + shou) > neutral_threshold )
{
return 1; // 右边
}
else
{
return 0; // 中立
}
}
}

}

// 判断骨骼追踪情况：包括骨骼追踪完好且手部位置在肘上面
bool IsSkeletonTrackedWell(IBody * n_body, bool isLeft = true)
{
Joint joints[JointType_Count];
n_body->GetJoints(JointType::JointType_Count, joints);

int elbow = JointType_ElbowRight;

int hand = JointType_HandRight;

if (joints[hand].Position.Y > joints[elbow].Position.Y)
{
return true;
}
else
{
return false;
}

}
};

int main()
{
IKinectSensor *kinect = NULL;
HRESULT hr = S_OK;
hr = GetDefaultKinectSensor(&kinect);  //  得到默认的设备

if (FAILED(hr) || kinect == NULL)
{
cout << "创建 sensor 失败\n";
return -1;
}
if (kinect->Open() != S_OK) // 是否打开成功
{
cout << "Kinect sensor 没准备好\n";
return -1;
}

IBodyFrameSource *bady = nullptr;  // 获取源
hr = kinect->get_BodyFrameSource(&bady);

IBodyFrameReader *pBodyReader;

hr = bady->OpenReader(&pBodyReader); // 打开获取骨骼信息的  Reader
if (FAILED(hr)){
std::cerr << "Error : IBodyFrameSource::OpenReader()" << std::endl;
return -1;
}

cout << "开始检测\n";

GestureDetection gesture_detection(0.05, 5, 5);

while (1)
{
IBodyFrame* pBodyFrame = nullptr;
hr = pBodyReader->AcquireLatestFrame(&pBodyFrame);

if (SUCCEEDED(hr)){
IBody* pBody[BODY_COUNT] = { 0 }; // 默认的是 6 个骨骼 ，初始化所有的骨骼信息
//更新骨骼数据
hr = pBodyFrame->GetAndRefreshBodyData(BODY_COUNT, pBody); // 刷新骨骼信息（6个）
if (SUCCEEDED(hr))
{
BOOLEAN bTracked = false;

for (int i = 0; i < 6; i++)
{
hr = pBody[i]->get_IsTracked(&bTracked); // 检查是否被追踪

if (SUCCEEDED(hr) && bTracked)
{

gesture_detection.Update(pBody[i]);
}
}
}
for (int count = 0; count < BODY_COUNT; count++){
SafeRelease(pBody[count]);
}
}
if (CTRL == 1)
{
break;  //  识别成功以后  跳出识别程序
}

SafeRelease(pBodyFrame);  // 别忘了释放
}

kinect->Close();  // 关闭设备
system("pause");
return 0;
}