周天彤，徐飛林，張旖帆，鄒　凌

（1.常州大學(xué)信息科學(xué)與工程學(xué)院，江蘇　常州　213164；2.常州市生物醫(yī)學(xué)信息技術(shù)重點(diǎn)實(shí)驗(yàn)室，江蘇　常州　213164）

基于unity和kinect的交警手勢(shì)識(shí)別仿真系統(tǒng)的設(shè)計(jì)和實(shí)現(xiàn)

周天彤1，2，徐飛林1，張旖帆1，鄒凌1，2

（1.常州大學(xué)信息科學(xué)與工程學(xué)院，江蘇常州213164；2.常州市生物醫(yī)學(xué)信息技術(shù)重點(diǎn)實(shí)驗(yàn)室，江蘇常州213164）

為研究計(jì)算機(jī)輔助駕駛系統(tǒng)中交警手勢(shì)的識(shí)別，搭建了一個(gè)虛擬駕駛場(chǎng)景的實(shí)驗(yàn)室研究仿真系統(tǒng)；采用了微軟公司的Kinect設(shè)備采集人體骨骼數(shù)據(jù)，經(jīng)由經(jīng)驗(yàn)?zāi)Ｐ吞崛√卣鞑⑹褂媚Ｊ阶R(shí)別對(duì)交警手勢(shì)信號(hào)進(jìn)行信號(hào)分類，使用unity公司的unity3D軟件實(shí)現(xiàn)虛擬駕駛場(chǎng)景的三維重建；系統(tǒng)測(cè)試表明，使用kinect進(jìn)行手勢(shì)識(shí)別響應(yīng)快，準(zhǔn)確率高，使用unity作為虛擬駕駛場(chǎng)景的開發(fā)平臺(tái)方便快捷，兩者組合非常適宜搭建基于視覺的輔助駕駛系統(tǒng)的仿真環(huán)境。

骨骼跟蹤；手勢(shì)識(shí)別；計(jì)算機(jī)輔助駕駛；虛擬現(xiàn)實(shí)

0　引言

無人駕駛自動(dòng)車輛是先進(jìn)城市公交的一個(gè)重要發(fā)展方向，城市交通中與交警的交互是十分關(guān)鍵的。一般而言，交警通過交通手勢(shì)來進(jìn)行現(xiàn)場(chǎng)指揮，采集和識(shí)別交警的手勢(shì)語言就成為了識(shí)別交警指令的重要環(huán)節(jié)。國(guó)內(nèi)的研究者采用多種方法對(duì)交警手勢(shì)識(shí)別進(jìn)行了研究：Yuan Tao，Wang Ben等設(shè)計(jì)了一種交警-信號(hào)燈同步系統(tǒng)，該系統(tǒng)利用依附于交警雙手手背的三軸加速度傳感器并對(duì)所獲得的數(shù)據(jù)進(jìn)行手勢(shì)運(yùn)動(dòng)學(xué)的加速度特征分析從而識(shí)別交警的手勢(shì)信號(hào)［1］；R.Sathyaa，M.Kalaiselvi Geethab等則采用了無隨身設(shè)備的方案，該方案從對(duì)準(zhǔn)交警的視頻流中提取差分幀，針對(duì)焦點(diǎn)區(qū)域（ROI）提取累積區(qū)域強(qiáng)度特征（CBIV）作為特征進(jìn)行分類和識(shí)別，從而提取交警指揮信號(hào)［2］。在信號(hào)識(shí)別方面，安云肖通過靜態(tài)圖像特征提取的方法提取了人體面積特征和骨架特征，針對(duì)特定交警手勢(shì)進(jìn)行建模，對(duì)現(xiàn)場(chǎng)采集到的交警圖像進(jìn)行模式匹配［3］；吳巧，霍亮生等提取彩色攝影機(jī)的影像并預(yù)處理，使用圖像的輪廓特征進(jìn)行模式匹配［4］。

微軟新近推出的kinect體感設(shè)備使用CMOS紅外傳感器，以30幀/秒的速度采集景深數(shù)據(jù)流，通過預(yù)置的機(jī)器學(xué)習(xí)系統(tǒng)后可以獲得人體骨骼數(shù)據(jù)，從而大大降低了人體動(dòng)作采集的成本，可以將研究人員的注意力更多地放到問題上來。淦創(chuàng)使用kinect通過追蹤2個(gè)距離手部最近的關(guān)節(jié)點(diǎn)，再判斷深度數(shù)據(jù)變化的方法來進(jìn)行手勢(shì)識(shí)別［5］。劉陽，尚趙偉等通過kinect的關(guān)節(jié)點(diǎn)的運(yùn)動(dòng)軌跡，使用特征加權(quán)動(dòng)態(tài)時(shí)間規(guī)整算法（Feature Weighting-Dynamic Time Warping，F(xiàn)W-DTW）進(jìn)行手勢(shì)邊界的分割和識(shí)別［6］。

虛擬現(xiàn)實(shí)是虛擬現(xiàn)實(shí)技術(shù)是現(xiàn)代仿真技術(shù)的一個(gè)重要發(fā)展方向，隨著技術(shù)的發(fā)展，虛擬現(xiàn)實(shí)逐步發(fā)展到想象，交互，沉浸的3I技術(shù)［7］。而構(gòu)建虛擬現(xiàn)實(shí)的技術(shù)手段也在與時(shí)俱進(jìn)。劉保衛(wèi)使用了3DSMAX作為虛擬現(xiàn)實(shí)的開發(fā)工具，對(duì)虛擬現(xiàn)實(shí)場(chǎng)景進(jìn)行了研究［8］；況迎輝等使用OpenGL作為虛擬現(xiàn)實(shí)的開發(fā)平臺(tái)對(duì)虛擬礦道進(jìn)行三維重建［9］；趙美榮等使用kinect采集人手?jǐn)?shù)據(jù)，在unity平臺(tái)上對(duì)虛擬抓握的碰撞算法進(jìn)行了研究［10］。

在研究kinect識(shí)別交警手勢(shì)時(shí)，大多數(shù)研究者們采用了離線識(shí)別的方式，使用虛擬現(xiàn)實(shí)系統(tǒng)進(jìn)行在線識(shí)別和三維重建，能直觀地體現(xiàn)手勢(shì)識(shí)別的效率和準(zhǔn)確性，可以給研究人員以感性認(rèn)識(shí)。在unity3D平臺(tái)上將三維重建應(yīng)用于kinect的交警手勢(shì)識(shí)別，這方面的文獻(xiàn)尚不多見。

1　使用unity3D設(shè)計(jì)手勢(shì)識(shí)別仿真系統(tǒng)

交警手勢(shì)識(shí)別仿真系統(tǒng)，如圖1，中包含了對(duì)應(yīng)于測(cè)試者的avatar對(duì)象和其他輔助測(cè)試對(duì)象，例如運(yùn)動(dòng)的小車和靜止的交通燈等，這些主要對(duì)象處在一個(gè)事先定義的場(chǎng)景中，此外還有一些次要對(duì)象，例如光源，粒子系統(tǒng)等。仿真系統(tǒng)的原理是通過kinect for windows（2.0）通過紅外景深攝像頭可以獲得景深數(shù)據(jù)，將這些深度數(shù)據(jù)轉(zhuǎn)換為人體的空間坐標(biāo)，輔以虛擬空間中各個(gè)對(duì)象進(jìn)行互動(dòng)，實(shí)現(xiàn)三維重建。其主要步驟為個(gè)體識(shí)別，人體部位分類及關(guān)節(jié)識(shí)別。Kinect內(nèi)預(yù)置的機(jī)器學(xué)習(xí)模塊先對(duì)人體部位分類，進(jìn)而再推斷出關(guān)節(jié)點(diǎn)的位置，最終將關(guān)節(jié)點(diǎn)坐標(biāo)提供用戶。unity3D和kinect的坐標(biāo)空間并不相同，本設(shè)計(jì)采用了第三人稱視角，將kinect獲取的骨骼數(shù)據(jù)進(jìn)行三維重建，然后在屏幕上進(jìn)行反饋，因此需要對(duì)坐標(biāo)系統(tǒng)進(jìn)行轉(zhuǎn)換，如圖1。

圖1　手勢(shì)識(shí)別仿真系統(tǒng)

1.1kinect到unity3D坐標(biāo)系的轉(zhuǎn)換

Kinect包含3種坐標(biāo)系：彩色圖像二維坐標(biāo)，深度圖像空間坐標(biāo)以及相機(jī)空間坐標(biāo)系。骨骼跟蹤使用的是相機(jī)空間坐標(biāo)系。

參考卡耐基梅隆大學(xué)的開源項(xiàng)目Kinect Wrapper［7］的方法，要完成關(guān)節(jié)點(diǎn)從Kinect骨骼空間坐標(biāo)系到unity世界坐標(biāo)的轉(zhuǎn)換，可以先假定以下條件：

1）Kinect放置在高度為1 m的地方sensor Height=1。

2）相對(duì)于地面Kinect被注冊(cè)為0，0，0 KinectCenter=（0，0，2）。

3）相對(duì)于Kinect Center，Kinect傳感器朝向的點(diǎn)，look At=（0，1，0，0）。

首先將關(guān)節(jié)點(diǎn)坐標(biāo)變換到unity的世界坐標(biāo)系中。從圖1可以看出unity中世界坐標(biāo)系與Kinect骨骼坐標(biāo)系Z軸的方向剛好相反。所以先對(duì)關(guān)節(jié)點(diǎn)沿Z軸進(jìn)行翻轉(zhuǎn)。翻轉(zhuǎn)矩陣為（1）式：

接著 建立平 移矩陣，以（-KinectCenter.x，sensor Height-KinectCenter.y，-KinectCenter.z）即以（0，1，-2）向量進(jìn)行平移，得到平移矩陣（2）。

最后建立旋轉(zhuǎn)矩陣，根據(jù)kinect幫助所提供的計(jì)算公式（3）

來計(jì)算旋轉(zhuǎn)角度。由圖（1）可以看到，在進(jìn)行了z軸翻轉(zhuǎn)以后，kinect的朝向和unity的朝向一致，得到旋轉(zhuǎn)矩陣（4）式：

最后得到Kinect到世界坐標(biāo)的轉(zhuǎn)換矩陣（5）：

通過使用MultiplyPoint3x4方法就可以完成位置變換。如圖2所示A（0，0，0）點(diǎn)經(jīng)矩陣變換為A'（0，1，2），B（1，1，1）經(jīng)矩陣變換為B'（1，2，1）。

圖2　世界坐標(biāo)轉(zhuǎn)換實(shí)例

1.2三維模型avatar與關(guān)節(jié)點(diǎn)的綁定

avatar是仿真系統(tǒng)中測(cè)試者/操作者的化身，使用kinect所獲得的關(guān)節(jié)點(diǎn)運(yùn)動(dòng)數(shù)據(jù)來驅(qū)動(dòng)虛擬人物模型。在unity3D系統(tǒng)中需要將關(guān)節(jié)點(diǎn)數(shù)據(jù)到綁定到avatar節(jié)點(diǎn)。通過自動(dòng)適配（Automap）模式，unity3D自動(dòng)識(shí)別人物結(jié)構(gòu)并指定好骨骼結(jié)構(gòu)。這樣就可以快速方便的選中所需要的模型關(guān)節(jié)點(diǎn)。

在物理模型上綁定關(guān)節(jié)點(diǎn)數(shù)據(jù)后，需要在程序邏輯上關(guān)聯(lián)這些關(guān)節(jié)數(shù)據(jù)。將Kinect捕捉獲取到的關(guān)節(jié)點(diǎn)數(shù)據(jù)進(jìn)行重定向處理后將這25個(gè)關(guān)節(jié)點(diǎn)的數(shù)據(jù)通過Kinect ModelControlle-r V2中提供的updata方法更新到虛擬角色模型的每一幀畫面。

將關(guān)節(jié)點(diǎn)綁定好后，接下來就可以對(duì)其進(jìn)行三維重建操作，圖3介紹了重建流程。在初始化階段，系統(tǒng)保存了avatar的世界坐標(biāo)和狀態(tài)向量，以及虛擬空間中各個(gè)對(duì)象例如隨機(jī)產(chǎn)生的汽車的世界坐標(biāo)，啟動(dòng)kinect開始獲取互動(dòng)者骨骼數(shù)據(jù)后，進(jìn)入幀循環(huán)，將Kinect骨骼數(shù)據(jù)通過前述公式（5）映射到世界坐標(biāo)，然后疊加到avatar的模型關(guān)節(jié)點(diǎn)。

圖3　三維重建流程圖

2　交警手勢(shì)的識(shí)別

2.1kinect動(dòng)作識(shí)別

廣義上識(shí)別的包含有兩種方式：靜態(tài)姿勢(shì)識(shí)別和動(dòng)態(tài)手勢(shì)識(shí)別，這兩種識(shí)別優(yōu)缺點(diǎn)與使用環(huán)境都不盡相同。靜態(tài)識(shí)別方式是通過靜態(tài)的圖像幀來分析獲得人體圖像，其優(yōu)點(diǎn)是算法成熟穩(wěn)定性高，但是對(duì)于運(yùn)動(dòng)情況下的人體姿勢(shì)識(shí)別率較低，適用場(chǎng)合較小；動(dòng)態(tài)識(shí)別方式則通過連續(xù)的圖像幀或差分幀來進(jìn)行算法分析肢體的連續(xù)動(dòng)作，其優(yōu)點(diǎn)是適用場(chǎng)合較寬泛，使人更易與計(jì)算機(jī)進(jìn)行交互，但是由于算法尚不穩(wěn)定，各人動(dòng)態(tài)行為具有個(gè)體特性較強(qiáng)，因此識(shí)別的出錯(cuò)率較高。

在本設(shè)計(jì)中，為了實(shí)現(xiàn)姿勢(shì)識(shí)別的穩(wěn)定性，采取對(duì)交警的靜態(tài)姿勢(shì)識(shí)別的方式來識(shí)別手勢(shì)信號(hào)：首先從交警手勢(shì)中選取特征姿勢(shì)向量，然后把三維空間里的特征姿勢(shì)投影到二維計(jì)算平面上，最后選取合適的關(guān)節(jié)點(diǎn)，進(jìn)行向量夾角計(jì)算，以關(guān)節(jié)角作為特征通過經(jīng)驗(yàn)?zāi)Ｐ瓦M(jìn)行模式識(shí)別，識(shí)別成功則觸發(fā)預(yù)先定義好的動(dòng)作事件。

2.2交警手勢(shì)信號(hào)識(shí)別

交警手勢(shì)信號(hào)識(shí)別的依據(jù)是《中華人民共和國(guó)道路交通安全法》及其實(shí)施條例。實(shí)施條例中包含了多個(gè)交警手勢(shì)規(guī)范，圖4為較典型的左轉(zhuǎn)手勢(shì)的識(shí)別。

條例規(guī)定了交警左轉(zhuǎn)彎手勢(shì)的動(dòng)作規(guī)范為右臂向前平伸，掌心向前；左臂與手掌平直左轉(zhuǎn)彎信號(hào)左轉(zhuǎn)彎信號(hào)向右前方擺動(dòng)，掌心向右。根據(jù)規(guī)定，經(jīng)驗(yàn)?zāi)Ｐ偷脑O(shè)計(jì)選取姿勢(shì)在YZ面上的投影，以雙肩中央（SpineShoulder）到脊柱中段（Spine-Mid）為向量一，以左肘關(guān)節(jié)（Elbowleft）到（Wristleft）為向量二，計(jì)算向量一與向量二之間的夾角，如果夾角在（35，55）之間，且身體右肩（Shoulder Right）與右肘（ElbowRight）的高度差小于0.15，則判斷為左轉(zhuǎn)手勢(shì)。

圖4　交警左轉(zhuǎn)手勢(shì)及相應(yīng)數(shù)學(xué)模型

3　場(chǎng)景創(chuàng)建和互動(dòng)對(duì)象的實(shí)現(xiàn)

本仿真系統(tǒng)中包含了一些互動(dòng)對(duì)象，例如接受交警指揮行進(jìn)的汽車和與交警手勢(shì)同步的信號(hào)燈等。這些互動(dòng)對(duì)象可分為動(dòng)作對(duì)象和靜止對(duì)象，對(duì)于動(dòng)作對(duì)象，例如虛擬汽車，unity提供了由NVIDIA設(shè)計(jì)的可以執(zhí)行復(fù)雜物理運(yùn)算的PhysX物理引擎系統(tǒng)。

將物理引擎匹配到虛擬車輛時(shí)，需要給車輛添加剛體（Rigidbody）組件，這樣車輛就會(huì)擁有質(zhì)量屬性，從而遵循萬有引力定律，給車輛添加一個(gè)盒子碰撞器（Box Collider），可以與地面產(chǎn)生碰撞之后確保車輛不會(huì)下落。為使車輛產(chǎn)生運(yùn)動(dòng)效果，還需要在車輛上附加程控的車輪碰撞器（Wheel Collider）。在腳本程序中，控制車輪碰撞器組件的電機(jī)力矩（motor Torque）和轉(zhuǎn)向角（steer Angle）就可以實(shí)現(xiàn)車輛的前進(jìn)，后退，左轉(zhuǎn)，右轉(zhuǎn)，加速，減速等物理行為。

4　系統(tǒng)測(cè)試

仿真系統(tǒng)的測(cè)試分為兩個(gè)步驟，首先是動(dòng)作測(cè)試，其測(cè)試目的是測(cè)試avatar是否跟隨操作者運(yùn)動(dòng)，以及隨動(dòng)效率。測(cè)試的動(dòng)作選擇動(dòng)作幅度較大的抬腿動(dòng)作，當(dāng)測(cè)試者抬起右腳，kinect檢測(cè)到測(cè)試者抬起右腳，虛擬人物模型就會(huì)跟隨測(cè)試者動(dòng)作抬起右腳，其響應(yīng)效率極高，基本感覺不到動(dòng)作延遲，說明微軟的骨骼識(shí)別算法具有很高的效率。

仿真系統(tǒng)測(cè)試的第二個(gè)環(huán)節(jié)是手勢(shì)識(shí)別有效性測(cè)試。測(cè)試者模仿交警各種交通指揮手勢(shì)，系統(tǒng)檢測(cè)到該手勢(shì)信號(hào)，便控制虛擬場(chǎng)景中的互動(dòng)元素做相應(yīng)的行為。測(cè)試者模仿交警的直行放行手勢(shì)時(shí)，虛擬場(chǎng)景中的汽車正在通過路口。測(cè)試結(jié)果表明當(dāng)測(cè)試者動(dòng)作幅度較緩慢時(shí)能夠準(zhǔn)確識(shí)別交警信號(hào)，然而測(cè)試者動(dòng)作幅度較大時(shí)，有誤識(shí)別現(xiàn)象。這證明了手勢(shì)識(shí)別系統(tǒng)中，采用前述靜態(tài)手勢(shì)識(shí)別具有較好識(shí)別靜態(tài)或者緩慢運(yùn)動(dòng)的體姿的特點(diǎn)，而在真正的輔助駕駛應(yīng)用中，需要考慮動(dòng)態(tài)體姿識(shí)別作為靜態(tài)體姿識(shí)別的補(bǔ)充。

5　結(jié)論

本設(shè)計(jì)針對(duì)傳統(tǒng)三維重建的方法方式具有成本高昂，結(jié)構(gòu)復(fù)雜，開發(fā)周期長(zhǎng)等問題，提出基于Kinect骨骼數(shù)據(jù)進(jìn)行人體三維重建，并使用unity構(gòu)建虛擬現(xiàn)實(shí)的手勢(shì)識(shí)別仿真系統(tǒng)的方案，對(duì)該仿真系統(tǒng)的識(shí)別有效性，互動(dòng)有效性和識(shí)別效率做了檢驗(yàn)。構(gòu)建仿真系統(tǒng)和測(cè)試實(shí)現(xiàn)的結(jié)論是使用kinect作為手勢(shì)識(shí)別的技術(shù)和性，采用unity 3D作為虛擬現(xiàn)實(shí)的場(chǎng)景架構(gòu)，具有開發(fā)方便，響應(yīng)快捷，識(shí)別準(zhǔn)確的特點(diǎn)，可以用于輔助駕駛或自動(dòng)駕駛系統(tǒng)的的手勢(shì)識(shí)別模塊的研究。

［1］Yuan Tao，Wang Ben，et al.Accelerometer-based Chinese Traffic Police Gesture Recognition System［J］.電子學(xué)報(bào)：英文版，2010：270-274.

［2］Sathya R，Geetha M K.Framework for Traffic Personnel Gesture Recognition［J］.Procedia Computer Science，2015：1700-1707.

［3］安云肖.基于視覺靜態(tài)交警手勢(shì)識(shí)別算法的研究 ［D］.天津：河北工業(yè)大學(xué)，2009.

［4］吳巧，霍亮生.交警手勢(shì)的圖像處理與識(shí)別［J］.北京工商大學(xué)學(xué)報(bào)：自然科學(xué)版，2009，27：33-36.

［5］淦創(chuàng).基于3D體感技術(shù)的動(dòng)態(tài)手勢(shì)識(shí)別［J］.光電技術(shù)應(yīng)用，2012，27（4）：55-58.

［6］劉陽，尚趙偉.基于Kinect骨架信息的交通警察手勢(shì)識(shí)別［J］.計(jì)算機(jī)工程與應(yīng)用，2015：157-161.

［7］鄒湘軍，孫健，何漢武，等.虛擬現(xiàn)實(shí)技術(shù)的演變發(fā)展與展望［J］.系統(tǒng)仿真學(xué)報(bào)，2004（9）：1905-1909.

［8］劉保衛(wèi).虛擬現(xiàn)實(shí)場(chǎng)景的建模特點(diǎn)及生成效果［J］.，計(jì)算機(jī)工程與應(yīng)用，2014：137-141.

［9］況迎輝，王成，姜曉彤.基于虛擬現(xiàn)實(shí)技術(shù)的煤礦事故三維重現(xiàn)［J］.計(jì)算機(jī)測(cè)量與控制，2010，18：2885-2887.

［10］趙美榮，田衛(wèi)萍，熊風(fēng)光，等.基于Kinect和Unity的虛擬手抓取碰撞檢測(cè)算法［J］.計(jì)算機(jī)測(cè)量與控制，2015（6）：2076-2078.

Design and Implementation of Simulation System About Traffic Police Gesture's Recognition Based on Unity and Kinect

Zhou Tiantong1，2，Xu Feilin1，Zhang Yifan1，Zou Ling1，2
（1.Faculty of Information Science&Engineering，Changzhou University，Changzhou213164，China；2.Changzhou Key Laboratory of Biomedical Information Technology，Changzhou213164，China）

In order to study about traffic police gesture's recognition in computer aided driving system，a laboratory system is built to simulate on virtual traffic scene.The device Kinect produced by Microsoft is used to gather the body skeleton data，then features are extracted through experience mode，pattern recognition of traffic police gesture's is used for signal classification，a software Unity 3D produced by Unity is used to realize three-dimensional reconstruction of the virtual traffic scene.The system test shows that using Kinect to recognize gesture can get quickly response and high accuracy rate，and using unity 3D as development platform to realize virtual traffic scene can be convenient and efficient，the combination of both are very suitable for building the computer aided driving system based on visual simulation environment.

skeleton tracking；gesture recognition；computer aided driving；virtual reality

1671-4598（2016）05-0156-04

10.16526/j.cnki.11-4762/tp.2016.05.045

TP3

A

2015-09-25；

2015-12-07。

國(guó)家自然基金項(xiàng)目（61201096）；常州市科技項(xiàng)目（CE20145055）；江蘇省青藍(lán)工程資助。

周天彤（1972-），男，江蘇常州人，講師，主要從事腦-機(jī)接口方向的研究。

鄒凌（1975-），女，遼寧遼陽人，教授，主要從事腦-機(jī)接口方向的研究。