陳鵬艷，王洪源，陳慕羿

(沈陽(yáng)理工大學(xué) 信息科學(xué)與工程學(xué)院，沈陽(yáng) 110159)

Unity3D中的Kinect主角位置檢測(cè)與體感交互

陳鵬艷，王洪源，陳慕羿

(沈陽(yáng)理工大學(xué) 信息科學(xué)與工程學(xué)院，沈陽(yáng) 110159)

將Kinect與Unity3D聯(lián)合，使玩家在三維虛擬場(chǎng)景里通過肢體控制游戲。根據(jù)Kinect的骨骼跟蹤原理，對(duì)用戶進(jìn)行實(shí)時(shí)骨骼跟蹤，利用Kinect SDK獲取Kinect記錄的關(guān)節(jié)點(diǎn)三維數(shù)據(jù)，實(shí)現(xiàn)硬件設(shè)備與Windows平臺(tái)的連通。通過CMU的Kinect Wrapper實(shí)現(xiàn)Kinect SDK與Unity3D之間的數(shù)據(jù)交互。測(cè)試時(shí)，在Unity3D中建立三維虛擬場(chǎng)景，通過Kinect Wrapper中的KinectModelControllerV2腳本對(duì)場(chǎng)景內(nèi)的人物模型進(jìn)行控制，并在Unity3D平臺(tái)上實(shí)時(shí)確定用戶的三維位置信息，完成Kinect與Unity3D的體感交互，可以擴(kuò)展應(yīng)用于高級(jí)人機(jī)交互應(yīng)用，如虛擬現(xiàn)實(shí)系統(tǒng)、作戰(zhàn)模擬訓(xùn)練等方面。

Kinect；Unity3D；位置檢測(cè)；體感交互

Unity3D(也稱Unity)是一款跨平臺(tái)次世代游戲引擎，以其強(qiáng)大的跨平臺(tái)特性，獨(dú)特的技術(shù)優(yōu)勢(shì)與絢麗的3D渲染效果而聞名出眾[1]，其人機(jī)交互主要依靠鼠標(biāo)鍵盤進(jìn)行，不具備檢測(cè)玩家位置、肢體動(dòng)作并用于交互的功能。

Kinect是微軟公司于2009年6月發(fā)布的Xbox 360的體感周邊外設(shè)，是功能強(qiáng)大的3D外接體感攝影機(jī)，被譽(yù)為第三代人機(jī)交互的劃時(shí)代之作[2]。Kinect利用微軟劍橋研究院研發(fā)的基于深度圖像的人體骨骼追蹤算法，不需要使用任何道具即可完成玩家整個(gè)動(dòng)作的識(shí)別與捕捉，并能記錄人體關(guān)節(jié)點(diǎn)的三維位置信息。

研究將Kinect與Unity聯(lián)合，可以使用戶身臨其境地在三維虛擬場(chǎng)景里通過肢體或語(yǔ)言控制游戲，給體驗(yàn)者帶來更真實(shí)的沉浸感。在Unity中建立3D虛擬場(chǎng)景，通過Kinect SDK 獲取Kinect硬件采集到的原始數(shù)據(jù)，Kinect SDK NUI API對(duì)畫面進(jìn)行識(shí)別并對(duì)人體骨骼進(jìn)行分類，獲得20個(gè)人體骨骼關(guān)節(jié)點(diǎn)的三維坐標(biāo)信息[3]，利用CMU Kinect Wrapper for Unity3D實(shí)現(xiàn)Unity與Kinect間的數(shù)據(jù)交互，人物模型控制及各關(guān)節(jié)點(diǎn)三維位置信息的實(shí)時(shí)跟蹤。用戶在Unity中三維位置信息的確定有利于滿足高級(jí)游戲設(shè)計(jì)需求，并可以應(yīng)用于虛擬現(xiàn)實(shí)系統(tǒng)、作戰(zhàn)模擬訓(xùn)練系統(tǒng)中。

1 Kinect骨骼跟蹤

如圖1所示，Kinect共有3個(gè)攝像頭，中間為RGB攝像頭，用來獲取640×480的彩色圖像，每秒鐘最多獲取30幀[4]；左側(cè)為紅外線發(fā)射器，右側(cè)為紅外線CMOS攝像機(jī)所構(gòu)成的3D結(jié)構(gòu)光深度感應(yīng)器，兩側(cè)不對(duì)稱地分布著麥克風(fēng)陣列，采用四元線性麥克風(fēng)陣列技術(shù)，底座配有傳動(dòng)馬達(dá)。Kinect傳感器設(shè)備提供三類原始數(shù)據(jù)信息，包括深度數(shù)據(jù)流、彩色視頻流、原始音頻數(shù)據(jù)，整體可實(shí)現(xiàn)骨骼跟蹤、影像識(shí)別、語(yǔ)音識(shí)別等功能[5]。

骨骼跟蹤是Kinect“體感操作”的基礎(chǔ)，Kinect的兩個(gè)深度傳感器會(huì)產(chǎn)生并接收隨機(jī)分布的紅外光線，通過Kinect Primesense芯片獲取深度數(shù)據(jù)流，以計(jì)算出視場(chǎng)范圍內(nèi)每個(gè)像素的深度值，得到深度數(shù)據(jù)并從中提取出物體的主體和形狀，與背景圖像進(jìn)行分割，根據(jù)這些信息對(duì)人體各部位進(jìn)行分類匹配，從而獲得人體關(guān)節(jié)點(diǎn)的三維坐標(biāo)。Kinect對(duì)人體部位的分類可以通過對(duì)像素逐一判斷來確定人體關(guān)節(jié)點(diǎn)，系統(tǒng)會(huì)根據(jù)“骨骼跟蹤”的20個(gè)關(guān)節(jié)點(diǎn)來生成一幅骨架系統(tǒng)，準(zhǔn)確評(píng)估人體實(shí)際位置。圖2為Kinect記錄的深度圖像和彩色圖像，主要關(guān)節(jié)點(diǎn)連線組成的“火柴人”為Kinect識(shí)別的人體骨架系統(tǒng)。

圖2 人體深度、彩色圖像及骨架系統(tǒng)

骨骼位置信息的獲取依賴于Kinect SDK的核心NUI API，Kinect SDK允許開發(fā)者借助微軟Visual Studio 2010，利用C++或C#等語(yǔ)言開發(fā)相關(guān)應(yīng)用，可以使Kinect在Windows平臺(tái)釋放無限潛能。Kinect SDK的設(shè)備驅(qū)動(dòng)程序首先從硬件讀取原始數(shù)據(jù)，包括圖像數(shù)據(jù)、深度數(shù)據(jù)和音頻數(shù)據(jù)，然后在NUI類庫(kù)中進(jìn)行計(jì)算，得到骨骼點(diǎn)位置，聲源位置信息等，而Kinect應(yīng)用則通過與NUI類庫(kù)中的接口進(jìn)行交互，來獲取所需數(shù)據(jù)。目前，Kinect for Windows SDK中的骨骼API可以提供至多兩位用戶的位置信息，包括詳細(xì)的姿勢(shì)和骨骼點(diǎn)的三維坐標(biāo)信息[6]。在SDK中每個(gè)骨骼點(diǎn)都采用Joint類型表示，每一幀的20個(gè)骨骼點(diǎn)組成基于Joint類型的集合，包括三個(gè)屬性：

1)JointType 骨骼點(diǎn)的類型，是一種枚舉類型，列舉了20個(gè)骨骼點(diǎn)的特定名稱，如“HEAD”表示頭部骨骼點(diǎn)。

2)Position SkeletonPoint類型表示骨骼點(diǎn)的位置信息，是一個(gè)結(jié)構(gòu)體，包含x、y、z三個(gè)數(shù)據(jù)成員，用以存儲(chǔ)骨骼點(diǎn)的三維坐標(biāo)。

3)TrackingState JointTrackingState類型也是一種枚舉類型，表示該骨骼點(diǎn)的追蹤狀態(tài)。其中，Tracked表示正確捕捉到該骨骼點(diǎn)，NotTracked表示沒有捕捉到骨骼點(diǎn)，Inferred表示狀態(tài)不確定[4]。

2 在Unity中進(jìn)行骨骼綁定

Unity是Unity Technologies提供的跨平臺(tái)游戲開發(fā)工具和專業(yè)的游戲引擎，高效的開發(fā)模塊，強(qiáng)大的渲染效果和可擴(kuò)展能力，備受廣大開發(fā)者青睞，便于實(shí)現(xiàn)實(shí)時(shí)游戲動(dòng)畫、三維虛擬場(chǎng)景、游戲邏輯設(shè)計(jì)等多元化游戲開發(fā)。Unity支持通用語(yǔ)言腳本，可在一個(gè)平臺(tái)上開發(fā)，多平臺(tái)發(fā)布，使用DirectX和OpenGL圖形引擎，提供高度優(yōu)化的圖形渲染管道，并且內(nèi)置物理引擎，模擬剛體、關(guān)節(jié)等物理效果。此外，Unity可兼容多種外部資源，可與3dsMax、Maya等程序協(xié)同工作。通過以上的功能特點(diǎn)，Kinect傳感器可與Unity結(jié)合實(shí)現(xiàn)人體三維位置檢測(cè)。由于Unity不直接支持Kinect SDK，因此本文利用CMU Kinect Wrapper for Unity3D實(shí)現(xiàn)Unity與Kinect間的數(shù)據(jù)交互。

Kinect Wrapper for Unity package是一個(gè)對(duì)Kinect與Unity非常實(shí)用的中間件，其中包含一些腳本和場(chǎng)景示例。如：KinectExample示例場(chǎng)景；KinectPrefab預(yù)制件；Kinect Model Controller V2腳本用于操縱模型骨骼，實(shí)現(xiàn)人物模型控制；KinectPointController是對(duì)應(yīng)于KinectPointMan的骨骼控制器；Display Depth腳本用于獲取深度圖像；DisplayColor腳本用于獲取RGB圖像；Kinect Recorder用于記錄用戶動(dòng)作，為Kinect模擬器(Emulator)產(chǎn)生回放文件；KinetEmulator模擬Kinect設(shè)備，與KinectRecorder產(chǎn)生的回放文件一起工作；KinectSensor用于獲取Kinect中的數(shù)據(jù)；DeviceOrEmulator用于設(shè)置使用Kinect物理設(shè)備或者模擬設(shè)備；SkeletonWrapper腳本用于抓取骨骼數(shù)據(jù)；DepthWrapper用于獲取深度圖像數(shù)據(jù)；KinectInterop用于從Microsoft Kinect SDK中獲取數(shù)據(jù)[7]。為了便于實(shí)現(xiàn)Kinect與Unity交互時(shí)場(chǎng)景的切換，在場(chǎng)景中放入Kinect Prefab，使人物模型在切換場(chǎng)景時(shí)能正常使用。Kinect Prefab包含開發(fā)體感項(xiàng)目的必需腳本，但不包含控制模型所需的控制器。因此，要為人物模型添加角色控制器KinectModelControllerV2腳本，并將Bip骨骼與人物模型在Untiy的Inspector外部變量中進(jìn)行綁定，通過測(cè)試，人物模型能非常相似地模仿出用戶動(dòng)作。

3 三維位置的獲取

使用應(yīng)用程序獲取下一幀骨骼數(shù)據(jù)的方式同獲取彩色圖像和深度圖像的數(shù)據(jù)一樣，都是通過調(diào)用回調(diào)函數(shù)并傳遞一個(gè)緩存實(shí)現(xiàn)的，獲取骨骼數(shù)據(jù)調(diào)用的是OpenSkeletonFrame()函數(shù)。新的幀數(shù)據(jù)一旦準(zhǔn)備好，系統(tǒng)會(huì)將其復(fù)制到緩存中，如果新的應(yīng)用程序獲取幀的速度大于幀數(shù)據(jù)準(zhǔn)備的速度，只有等待下一個(gè)幀數(shù)據(jù)的觸發(fā)。NUI骨骼API提供了兩種應(yīng)用模型，分別是輪詢模型和事件模型，下面對(duì)兩種類型做簡(jiǎn)要介紹：

(1)輪詢模型是最簡(jiǎn)單的獲取幀數(shù)據(jù)的方法，通過調(diào)用SkeletonStream類的OpenNextFrame()函數(shù)即可實(shí)現(xiàn)。函數(shù)聲明為Public SkeletonFrame OpenNextFrame(int millisecondsWait)可以傳遞參數(shù)指定等待下一幀骨骼數(shù)據(jù)的時(shí)間，當(dāng)新的數(shù)據(jù)準(zhǔn)備好或是超出等待時(shí)間時(shí)，OpenNextFrame()函數(shù)才會(huì)返回。

(2)事件模型以事件驅(qū)動(dòng)的方式獲取骨骼數(shù)據(jù)，更加靈活、準(zhǔn)確。應(yīng)用程序傳遞一個(gè)事件處理函數(shù)給SkeletonFrameReady事件，該事件定義在KinectSensor類中。當(dāng)事件觸發(fā)時(shí)，調(diào)用事件的屬性FrameReadyEventArgs獲取數(shù)據(jù)幀[4]。

本文采用事件模型獲取用戶的關(guān)節(jié)點(diǎn)位置信息，主要代碼如下：

void _kinect_SkeletonFrameReady(object sender,SkeletonFrameReady EventArgs e)

{

using(SkeletonFrame skeletonFrame=e.OpenSkeletonFrame())

{

if(skeletonFrame== null)

return;

Skeleton s=Get Closet Skeleton

(skeletonFrame);

if(s== null)

return;

if(s.ClippedEdges== FrameEdges.None)

return;

SkeletonPoint head=

s.Joints[JointType.Head].Position;

}

}

Kinect SDK NUI API中包含彩色圖像二維坐標(biāo)、深度圖像空間坐標(biāo)、骨骼跟蹤空間坐標(biāo)，這三個(gè)坐標(biāo)系的坐標(biāo)和度量并不一致，通過NUI坐標(biāo)轉(zhuǎn)換，可以實(shí)現(xiàn)深度圖像空間和骨骼空間坐標(biāo)的轉(zhuǎn)換。Kinect SDK中提供了相關(guān)的API做相關(guān)轉(zhuǎn)換，并且定義了ColorImagePoint(彩色圖像二維坐標(biāo)點(diǎn))、SkeletonPoint(骨骼跟蹤三維坐標(biāo)點(diǎn))、DepthImagePoint(深度圖像三維坐標(biāo)點(diǎn))三種點(diǎn)類型。被“骨骼跟蹤”的用戶位置由X、Y、Z坐標(biāo)系表示，該坐標(biāo)系是三維的，以米為單位。Z軸表示紅外攝像頭光軸，與圖像平面垂直。光軸與圖像平面的交點(diǎn)，即為圖像坐標(biāo)系的原點(diǎn)。圖3為測(cè)量結(jié)果。

圖3 用Kinect測(cè)量的人體身高及主要關(guān)節(jié)點(diǎn)三維數(shù)據(jù)

表1為在用戶相對(duì)于Kinect的不同位置，Kinect測(cè)得的人體身高。

表1 在相對(duì)于Kinect的不同位置測(cè)量人體身高 m

被測(cè)的人體實(shí)際身高為1.78m，根據(jù)測(cè)量對(duì)比,利用Kinect測(cè)量的人體身高誤差為-0.025m至0.008m之間，證明Kinect進(jìn)行的人體關(guān)節(jié)點(diǎn)位置跟蹤具有一定的準(zhǔn)確性，并伴有少量誤差。

在Unity中進(jìn)行測(cè)試時(shí)，可以通過手動(dòng)封裝DLL以及使用Kinect Wrapper for Unity Package的方法獲取Kinect SDK中的彩色圖像數(shù)據(jù)流，深度數(shù)據(jù)流。本文選用后一種方法，在Kinect ModelController腳本中添加相關(guān)程序，實(shí)時(shí)獲取用戶三維位置信息。

Kinect所測(cè)量的深度圖像坐標(biāo)系和骨骼跟蹤坐標(biāo)系都是Kinect的攝像頭坐標(biāo)系，原點(diǎn)為紅外攝像頭中心，SkeletonWrapper腳本中使用位移矩陣，調(diào)用Matrix4x4成員函數(shù)SetTRS，void SetTRS(Vector3 pos，Quaternion q，Vector3 s)實(shí)現(xiàn)從Kinect攝像頭坐標(biāo)系向屏幕世界坐標(biāo)系的變換。

Matrix4x4 trans=new Martrix4x4();

trans.SetTRS(newVector3(-kinect.getkKinectCenter().x,kinect.get

SensorHeight()-kinect.getKinectCenter().y,-kinect.getKinectCenter().z),Quaternion.identity,Vector3.one);

Matrix4x4 rot=new Martrix4x4();

Quaternion quat=new Quaternion();

double theta=Mathf.Atan((kinect.getLookAt().y+kinect.getKinectCenter().y-kinect.getSensorHeight());

float kinectAngle=(float)(theta *(180/Mathf.PI));

quat.eulerAngles=new Vector3(-kinectAngle,0,0);

rot.SetTRS(Vector3.zero,quat,Vector3.one);

Matrix4x4 flip=Matrix4x4.identity;

flip[2,2]=-1;

//Kinect的旋轉(zhuǎn)變換矩陣補(bǔ)償，轉(zhuǎn)換成一個(gè)新的中心

kinectToWorld=flip*trans*rot;

4 測(cè)試結(jié)果

如圖4所示，在測(cè)試過程中，用戶通過Unity可以控制場(chǎng)景中的人物模型，使人物模型跟隨人體活動(dòng)。選取右手Hand_Right為跟蹤目標(biāo)，當(dāng)用戶的右手從向下自然垂下到緩慢向上舉起的過程中，Kinect檢測(cè)的右手運(yùn)動(dòng)軌跡的三維坐標(biāo)如表2所示。

圖4 用戶控制Unity中人物模型運(yùn)動(dòng)

X軸Y軸Z軸-40.46.5-68.7-40.36.5-68.7-40.16.8-68.6-39.97.1-68.5-39.97.3-68.4-39.97.6-68.3-40.07.9-68.3-40.18.1-68.3-40.38.4-68.3-40.48.4-68.4

右手在體側(cè)向下自然下垂到向上伸展運(yùn)動(dòng)的過程中，X軸的數(shù)值對(duì)稱，起始和向上伸直的最終坐標(biāo)穩(wěn)定在-40.4附近；當(dāng)右臂伸直平舉時(shí)，X軸坐標(biāo)最大達(dá)到-39.9，Y軸的數(shù)值在6.5～8.4范圍內(nèi)不斷增加；在底端和頂端與平舉時(shí)的差值均為1m左右，與用戶的實(shí)際右臂長(zhǎng)度基本一致。

通過對(duì)測(cè)量數(shù)據(jù)進(jìn)行分析可得，Kinect的骨骼坐標(biāo)檢測(cè)技術(shù)，在Unity平臺(tái)中能實(shí)時(shí)確定用戶的三維位置信息，對(duì)各關(guān)節(jié)點(diǎn)的位置均有準(zhǔn)確捕捉，并且人物模型受用戶控制，能非常近似地模擬出動(dòng)作變化，滿足游戲設(shè)計(jì)需求。

5 結(jié)束語(yǔ)

利用Kinect傳感器實(shí)現(xiàn)人體骨骼跟蹤以及關(guān)節(jié)點(diǎn)三維數(shù)據(jù)的獲取，在Unity中與人物模型進(jìn)行骨骼綁定，通過人體動(dòng)作控制Unity中人物模型的活動(dòng)，并在Unity中實(shí)時(shí)獲取用戶的三維位置信息，完成體感的交互?；贙inect和Unity的人體骨骼控制和三維位置信息獲取，能實(shí)時(shí)捕捉人體動(dòng)作 并完成人物定位，帶給用戶良好的沉浸感，可廣泛應(yīng)用于模擬訓(xùn)練系統(tǒng)，醫(yī)療康復(fù)系統(tǒng)，大型體感游戲等。

[1]張金釗，孫穎，王先清，等.Unity3D游戲開發(fā)與設(shè)計(jì)案例教程[M].北京：清華大學(xué)出版社，2015.

[2]王森.Kinect體感程序設(shè)計(jì)入門:使用C#和C++[M].北京：科學(xué)出版社，2014.

[3]Jamie Shotton,Andrew Fitzgibon,Andrew Blake,et al.Real-Time Human Pose Recognition in Parts from a Single Depth Image[J].Communications of the ACM，2013，56(1)：116-124.

[4]吳國(guó)斌，李斌，閻驥洲.KINECT人機(jī)交互開發(fā)實(shí)踐[M].北京：人民郵電出版社，2013.

[5]張志常，范婷.基于Kinect的MoCA康復(fù)認(rèn)知評(píng)估系統(tǒng)設(shè)計(jì)[J].渤海大學(xué)學(xué)報(bào)：自然科學(xué)版，2015，3(1)：49-52.

[6]余濤.Kinect應(yīng)用開發(fā)實(shí)戰(zhàn)，用最自然的方式與機(jī)器對(duì)話[M].北京：機(jī)械工業(yè)出版社，2012.

[7]姚翠莉，袁璠，彭飛翔，等.Kinect在Unity平臺(tái)上的開發(fā)實(shí)例[J].計(jì)算機(jī)光盤軟件與應(yīng)用，2014(12)：68-72.

(責(zé)任編輯：馬金發(fā))

Protagonist Position Detection and Somatosensory Interaction Based on Kinect in Unity3D

CHEN Pengyan,WANG Hongyuan，CHEN Muyi

(Shenyang Ligong University,Shenyang 110159,China)

Kinect combined with Unity3D will take players into three-dimensional virtual scene and control game through their body.According to the principle of the skeleton tracking,the user′s skeleton is tracked in real-time by using Kinect SDK,which obtains joint three-dimensional position records by Kinect to implement communication of hardware devices and Windows platform.Kinect Wrapper of CMU will implement data interaction between the Kinect SDK and Unity3D.Three-dimensional virtual scene is built in Unity3D when testing by using the ControllerV2 script in Kinect Wrapper，which controls the character models and determines user′s real-time three-dimensional position on Unity3D playform,and somatosensory interaction between Kinect and Unity could be extended for advanced human-computer interaction applications like virtual reality system and combat simulation training.

Kinect；Unity3D；position detection；somatosensory interaction

2016-05-30

遼寧省教育廳一般項(xiàng)目(L2013083)

陳鵬艷(1992—)，女，碩士研究生；通訊作者：王洪源(1963—)，男，教授，研究方向：模擬仿真訓(xùn)練系統(tǒng)、區(qū)域數(shù)據(jù)鏈路體系結(jié)構(gòu)。

1003-1251(2017)02-0017-05

TP391

A