郭曉利，楊婷婷，張雅超

(1.東北電力大學(xué) 信息工程學(xué)院，吉林 吉林 132012；2.國網(wǎng)吉林省電力有限公司 吉林供電公司，吉林 吉林 130021)

?

基于Kinect深度信息的動態(tài)手勢識別

郭曉利1，楊婷婷1，張雅超2

(1.東北電力大學(xué) 信息工程學(xué)院，吉林 吉林 132012；2.國網(wǎng)吉林省電力有限公司 吉林供電公司，吉林 吉林 130021)

摘要：針對復(fù)雜動態(tài)手勢識別問題，本文首先通過體感傳感器Kinect獲取人體深度圖像，利用閾值分割法分割出手勢深度圖像，然后建立由隱馬爾可夫模型(HMM)和模糊神經(jīng)網(wǎng)絡(luò)(FNN)相結(jié)合的HMM-FNN模型進(jìn)行動態(tài)手勢識別。本文的動態(tài)手勢主要是針對虛擬變電站中對設(shè)備的常用操作手勢來進(jìn)行人機交互研究的。HMM-FNN模型將復(fù)雜動態(tài)手勢特征分解為三個子特征序列，分別建立HMM模型，然后進(jìn)行模糊推理對手勢進(jìn)行分類識別。經(jīng)實驗驗證，HMM-FNN模型能快速有效識別復(fù)雜動態(tài)手勢，且魯棒性強，識別效果明顯優(yōu)于HMM模型。

關(guān)鍵詞：Kinect；閾值分割法；復(fù)雜動態(tài)手勢；HMM-FNN；手勢識別

由于手勢具有自然、直觀的特點，手勢交互成為人機交互中對用戶限制最少的交互模式，目前，基于視覺的手勢識別在體感游戲、機器人機械手的抓取等方面得到越來越廣泛的應(yīng)用[1-2]。體感傳感器Kinect是微軟公司推出的外接體感設(shè)備，可以同時獲取RGB圖像和深度圖像，逐漸成為基于視覺手勢識別的重點研究對象。開源軟件OpenNI定義并形成標(biāo)準(zhǔn)的API，可以方便的訪問和使用Kinect設(shè)備，但它只提供了單擊、揮動、舉起、移動4種簡單的手勢[3]，不能滿足用戶利用自然手勢進(jìn)行人機交互的需求，這就需要豐富擴展其手勢集。

近年來，基于Kinect的手勢識別研究也成為熱點，文獻(xiàn)[4]采用隱馬爾科夫模型HMM進(jìn)行動態(tài)手勢識別，HMM能對手勢軌跡進(jìn)行有效識別，但是只針對相對簡單的動作手勢；文獻(xiàn)[5]采用加權(quán)的動態(tài)時間規(guī)整DTW算法進(jìn)行手勢識別，訓(xùn)練過程簡單，但實驗計算量大，且識別過程容易受周圍人手的干擾。本文使用Kinect體感傳感器建立由隱馬爾可夫模型(HMM)和模糊神經(jīng)網(wǎng)絡(luò)(FNN)相結(jié)合的復(fù)合手勢識別模型HMM-FNN，它將高維手勢特征分解為3個低維特征序列，根據(jù)其特征分別建立HMM模型，同時結(jié)合FNN的模糊推理能力，進(jìn)行動態(tài)手勢的識別[6]。本文采用虛擬變電站中仿真人員對變電站設(shè)備的常用動態(tài)操作手勢進(jìn)行模型訓(xùn)練，實驗發(fā)現(xiàn)該復(fù)合模型能快速準(zhǔn)確的識別復(fù)雜動態(tài)手勢，并有效降低系統(tǒng)復(fù)雜度，減少計算負(fù)擔(dān)。

1深度圖像的獲取

圖1　Kinect獲取的彩色圖像和深度圖像

Kinect的CMOS紅外傳感器可以感知外界，通過紅外激光散斑的感應(yīng)獲得深度信息，能夠不受環(huán)境光照和復(fù)雜背景的影響，由此能實現(xiàn)手勢跟蹤與識別[4]。本文利用Kinect 2.0的深度攝像頭直接獲取深度圖像，在此之前需要將Kinect 2.0連接到符合其配置要求的計算機上，并下載安裝Kinect for windows SDK 2.0、OpenCV、OpenNI，在Microsoft Visual Studio 2013環(huán)境下完成軟硬件配置過程。

首先初始化Kinect對象，獲取由深度攝像頭輸入的數(shù)據(jù)流[7]，然后通過ColorFrameReady、DepthFrameReady事件觸發(fā)來獲取景深數(shù)據(jù)[8]，如圖1。獲取深度圖像以后需要調(diào)用getMetaData()函數(shù)更新手勢數(shù)據(jù)。

表1cvThreshold()中threshold_type取值和相應(yīng)的操作

2手勢圖像的采集與閾值分割

本文主要針對手部動作進(jìn)行研究，因此在獲取深度圖像后需要對手部圖像信息進(jìn)行采集與分割。Kinect采集的深度信息存儲在一個二維數(shù)組里，每個數(shù)據(jù)對象實際上是像素點對應(yīng)物體到深度攝像頭的距離[3]，根據(jù)日常中手部離深度攝像頭的距離設(shè)定閾值，分割出手所在范圍的深度圖。首先用Nite模塊跟蹤到手區(qū)域重心位置，然后采用OpenCV中的函數(shù)cvThreshold()實現(xiàn)閾值分割[9]。它通過比較給定數(shù)組中的每一個元素值與設(shè)定的閾值threshold_type的大小來進(jìn)行相應(yīng)的操作，從而實現(xiàn)手勢部分深度圖的分割，如表1所示。

最后將深度圖中的手勢區(qū)域與背景區(qū)域作二值化處理[10]，突出顯示手部效果，實現(xiàn)手勢分割，如圖2。

圖2　手勢分割圖

3手勢的跟蹤及識別

本文在完成閾值分割的工作后，得到手部深度圖像，為實現(xiàn)動態(tài)手勢的識別需要對動態(tài)手勢進(jìn)行快速準(zhǔn)確的跟蹤，采用OpenNI的預(yù)備手勢檢測到人手后[4]，通過記錄手部重心的位置來跟蹤運動的手勢。

3.1動態(tài)手勢特征提取

本文所研究的動態(tài)手勢具有時間上可變、空間上可變及手勢的完整性可變的特征，本文將復(fù)雜動態(tài)手勢序列分為手形的變化、手在二維平面位置的變化和Z軸方向運動三個特征序列[6]，分別進(jìn)行特征提取。

在手勢深度圖像中，手形特征通過各手指的長度及手指之間的距離進(jìn)行表示。5根手指，設(shè)手指指尖與手部區(qū)域重心連線的長度分別為l0-l4，手指間距離為d0-d4。手指之間有遮擋時，被遮擋的手指長度設(shè)為0，相鄰手指的距離則由可見的手指之間的距離來表示，手形的基本特征通過l0-l4，d0-d4即可表示出來。為了使手形不受尺度縮放的影響，l0-l4，d0-d4通過除以當(dāng)前幀中手的外包圓直徑dh得到新的特征值來實現(xiàn)規(guī)范化處理[11]。此外，不同手形對應(yīng)的數(shù)值集群不同，本文設(shè)定不同手形對應(yīng)的基數(shù)數(shù)值Vbase，使不同手形的特征值分布在不同的數(shù)值區(qū)間段。手形特征值V可以根據(jù)公式(1)得出：

(1)

式中:a(0≤a≤100)是一個比例常數(shù)；n(0≤n≤5)是可見的手指數(shù)量；E是偏心率，由公式(2)計算得出：

(2)

式中，A，B是剛體繞X，Y軸的慣性矩，H是慣性積。

圖3　方向角區(qū)域的劃分

對于Z軸方向的運動，本文通過記錄手掌面積來獲得Z軸運動方向。將每個時刻的手掌面積與初始時刻(t=0)的手掌面積S0進(jìn)行比較，本文得到一組連續(xù)的歸一化面積數(shù)值S：1，s1，…，si，…ST。

3.2HMM-FNN模型

隱馬爾可夫模型是一種統(tǒng)計分析模型，是由具有一定狀態(tài)數(shù)的隱馬爾可夫鏈和顯示隨機函數(shù)集結(jié)合的雙重隨機過程，時序建模能力比較強[13]。模糊神經(jīng)網(wǎng)絡(luò)是由模糊理論與神經(jīng)網(wǎng)絡(luò)結(jié)合起來的，它綜合了兩者的優(yōu)點，能實現(xiàn)學(xué)習(xí)、功能關(guān)聯(lián)、識別和信息處理[14]，但它僅適于離散的特征向量，不能處理時序序列。HMM-FNN模型根據(jù)復(fù)雜動態(tài)手勢的運動特點建立相應(yīng)的時序模型，同時結(jié)合FNN模型模糊規(guī)則建模和推理能力，成為一種符合動態(tài)手勢識別需求的復(fù)合模型結(jié)構(gòu)[6]。

本文采用的HMM-FNN模型中，根據(jù)特征提取的類型，HMM模型主要針對手勢的3維特征序列進(jìn)行建模，手形變化、Z軸方向運動特征序列采用一維連續(xù)HMM模型進(jìn)行建模，整體手的2維平面運動則由一維離散HMM模型建模，分別記為手形變化HMM模型——PH(Posture HMM)、二維平面運動軌跡HMM模型——TH(Trajectory HMM)、Z軸方向運動——ZH(ZHMM)。

混合高斯模型(GMM)使用3至5個高斯模型來表示圖像中各個像素點的特征，在獲取新一幀圖像后更新GMM，用當(dāng)前圖像中的每一個像素點與GMM匹配，來判斷背景點與前景點[15]。在GMM模型下觀察矢量Q的似然度為：

(3)

式中:ωi為分量i的權(quán)重，gi(x)為一維高斯密度函數(shù)且gi(x)-N(μ，σ2)。連續(xù)的HMM模型采用GMM作為觀察特征的輸出概率密度。

3.3動態(tài)手勢的識別

本文在前面實現(xiàn)手勢跟蹤的基礎(chǔ)上，進(jìn)而實現(xiàn)對動態(tài)手勢的識別。將跟蹤到的動態(tài)手勢序列分解為三組序列，即平面軌跡點序列，手形變化序列和手心距離序列。手形變化序列和手心距離序列輸入到連續(xù)型HMM模型中進(jìn)行分類評估，在運動方向上對平面軌跡點序列進(jìn)行方向特性量化后得到離散方向特征序列，將其輸入到離散HMM模型來評估。在完成動態(tài)手勢特征序列輸入到HMM模型后，采用前向遞推法計算HMM模型的似然度p(Q/λ)，將其作為模糊隸屬度，完成模糊化預(yù)處理。然后采用Sum-Product推理方法進(jìn)行模糊推理與判決，從而識別出手勢的語義。

4實驗及分析

本實驗采用KinectforWindows2.0，Kinect2.0所需的硬件要求：基于64位的處理器，2.5GHzi7處理器或更快的處理器，4GBRAM，DX11顯卡適配器，USB3；OS為：win8、win8.1。實驗采用PC一臺，配置如下：CPU為IntelCorei7 2.6GHz，64位處理器，4GBRAM，顯卡為NAIDIAGeForceGT720M，內(nèi)置USB3.0總線。OS為win8.1。在MicrosoftVisualStudio2013的編譯環(huán)境下，本文采用C#編程實現(xiàn)識別功能。

首先為跟蹤過程設(shè)定了10個靜態(tài)手勢，包括1個握拳手形，3個1手指手形，2個2手指手形，2個3手指手形，1個4手指手形和1個5手指手形，分別標(biāo)記為pos1-pos10。

動態(tài)手勢的手形變化有pos1變化為pos2，pos2變化為pos10等，設(shè)置PH中狀態(tài)節(jié)點數(shù)目為5；整體手的2維平面運動軌跡設(shè)計為8種，向上、下、左、右移動，順時針、逆時針旋轉(zhuǎn)，N形運動，Z形運動，狀態(tài)節(jié)點設(shè)為4，在GMM中，高斯節(jié)點的個數(shù)同為4；z軸方向運動有前推、后拉、先前推再后拉及先后拉再前推4種運動類型，狀態(tài)節(jié)點設(shè)為3。

本文根據(jù)虛擬變電站中對變電站設(shè)備的常用操作——選擇、移動、放縮、旋轉(zhuǎn)，設(shè)計了相對應(yīng)的交互手勢，如表2所示。

表2　自定義的交互手勢集

手勢1至7選擇10個實驗者進(jìn)行15次，則每種手勢有150組數(shù)據(jù)，隨機抽取100組做訓(xùn)練數(shù)據(jù)，測試數(shù)據(jù)則由剩余50組構(gòu)成。首先對PH、TH、ZH分別進(jìn)行訓(xùn)練，HMM模型中狀態(tài)節(jié)點數(shù)目的選擇需要根據(jù)手勢的復(fù)雜程度來決定，在GMM中，高斯?fàn)顟B(tài)分量的個數(shù)與狀態(tài)節(jié)點的數(shù)目相同。然后利用誤差反向傳播BP算法對與模糊神經(jīng)網(wǎng)絡(luò)的連接權(quán)重進(jìn)行訓(xùn)練。對于與FNN的連接權(quán)重進(jìn)行訓(xùn)練。如手勢7的動作只與手形變化相關(guān)，可以在建立HMM的模型中，免除與TH的節(jié)點連接，在設(shè)置規(guī)則條件的權(quán)重時，手形變化權(quán)重略大于Z軸方向運動。

本文為了與普通的HMM作比較，在完成訓(xùn)練過程后，對手勢進(jìn)行了HMM模型訓(xùn)練，并統(tǒng)計其正確率，如表3所示。

表3　動態(tài)手勢識別實驗結(jié)果

分析實驗結(jié)果，對于復(fù)雜動態(tài)手勢1-7，HMM-FNN的識別率明顯高于HMM模型。實驗說明HMM-FNN模型雖然訓(xùn)練過程較為復(fù)雜，但它通過連接模糊神經(jīng)網(wǎng)絡(luò)，運用模糊推理能力，能有效快速準(zhǔn)確的實現(xiàn)復(fù)雜動態(tài)手勢的識別；且Kinect2.0能區(qū)分識別多人手勢，并可將離攝像頭最近的手勢設(shè)置為主識別手勢，識別過程不受周圍多人手勢的影響，抗干擾能力強。

5結(jié)束語

本文主要對基于Kinect的動態(tài)手勢識別進(jìn)行了研究，建立了HMM-FNN的復(fù)合模型，經(jīng)實驗驗證，本研究能準(zhǔn)確快速的識別一系列的動態(tài)手勢，并豐富了Kinect的動態(tài)手勢集?；贖MM-FNN復(fù)合模型的動態(tài)手勢識別方法較之于單純的隱馬爾科夫模型，它充分考慮到手勢本身的空間特征和模糊特性：針對空間特征將動態(tài)手勢特征序列分為手形變化、整體手的二維平面運動及Z軸方向運動3組特征序列，然后輸入到HMM-FNN中分別進(jìn)行識別，降低了系統(tǒng)識別復(fù)雜度；針對模糊特性，它連接到FNN模型中進(jìn)行模糊推理，加強了系統(tǒng)的魯棒性，比簡單的確定性推理更適用于該手勢識別。下一步打算將此手勢識別方法應(yīng)用到變電站三維可視化培訓(xùn)平臺[16]中，使用自然習(xí)慣動作完成設(shè)備拆卸、安裝、檢修等虛擬操作過程，實現(xiàn)人機交互式學(xué)習(xí)。

參考文獻(xiàn)

[1]王艷，張奇志.基于Kinect深度信息的手勢識別[J].北京信息科技大學(xué)學(xué)報，2013，28(1)：22-26.

[2]Tomoya M，Jungpil S，and Pankoo K.Hand gesture and character recognition based on Kinect sensor[J].International Journal of Distributed Sensor Networks，2014，(2014)：1-6.

[3]陳艷艷，陳正鳴，周小芹.基于Kinect的手勢識別及在虛擬裝配技術(shù)中的應(yīng)用[J].電子設(shè)計工程，2013，21(10)：3-7.

[4]陶麗君，李翠華，張希婧，等.基于Kinect傳感器深度信息的動態(tài)手勢識別[J].廈門大學(xué)學(xué)報，2013，52(4)：493-497.

[5]余旭.基于Kinect傳感器的動態(tài)手勢識別[D].西南大學(xué)，2014.

[6]王西穎，戴國忠，張希文，等.基于HMM-FNN的復(fù)雜動態(tài)手勢識別[J].軟件學(xué)報，2008，19(9)：2302-2312.

[7]Yangecnu.Kinect for Windows SDK 開發(fā)入門(一)：開發(fā)環(huán)境配置[OL].http：//www.cnblogs.com/yangecnu/archive/2012/03/30/KinectSDK_Geting_Started.html.2015.4.

[8]Yangecnu.Kinect for Windows SDK 開發(fā)入門(四)：景深數(shù)據(jù)數(shù)據(jù)處理(上)[OL].http：//www.cnblogs.com/yangecnu/archive/2012/04/04/KinectSDK_Depth_Image_Processing_Part1.html.2015.4.

[9]雷建鋒，汪偉.基于OpenCV的圖像閾值分割研究與實現(xiàn)[J].現(xiàn)代電子技術(shù)，2013，36(24)：72-76.

[10] 曹雛清，李瑞峰，趙立軍.基于深度圖像技術(shù)的手勢識別方法[J].計算機工程，2012，38(8)：16-18.

[11] Chong W，Zhong L，and Shing-Chow C.Superpixel-based hand gesture recognition with Kinect depth camera[J].IEEE Transactions on Multimedia，2015，1(17)：29-39.

[12] 王德鑫，石崇林，張茂軍.基于Petri網(wǎng)和BPNN的多重觸控手勢識別[J].模式識別與人工智能，2012，23(3)：408-413.

[13] 林闖，胡杰，孔祥震.用戶體驗質(zhì)量(QoE)的模型與評價方法綜述[J].計算機學(xué)報，2012，35(1)：1-15.

[14] 譚濤，任開春，陳熙隆,等.模糊神經(jīng)網(wǎng)絡(luò)技術(shù)[J].重慶文理學(xué)院學(xué)報：自然科學(xué)版，2011，30(1)：71-74.

[15] 朱齊丹，李科，張智,等.改進(jìn)的混合高斯自適應(yīng)背景模型[J].哈爾濱工程大學(xué)學(xué)報，2010，31(10)：1348-1353，1392.

[16] 曲朝陽，侯嵩林，張玉萍,等.變電站三維可視化培訓(xùn)平臺的實現(xiàn)[J].東北電力大學(xué)學(xué)報，2014，34(3)：75-79.

Gesture Recognition Based on Kinect Depth Information

GUO Xiao-li1，YANG Ting-ting1，ZHANG Ya-chao2

(1.School of Information Engineering，Northeast Dianli University，Jilin Jilin 130021；2.Jilin Power Supply Company，State Grid Electric Power Limited Company in Jilin Province，Jilin Jilin 130021)

Abstract：According to the problem of complex dynamic gesture recognition，this paper obtains the body depth image through the body feeling sensor device Kinect，and the threshold segmentation method is used to segment the gestures depth image.In this paper，the dynamic hand gestures is mainly aiming at common operations of equipment in virtual substation gestures for studying the human-computer interaction.Then the HMM-FNN model combined by the Hidden Markov Model (HMM) and the Fuzzy Neural Network (FNN) is used for dynamic gesture recognition.HMM-FNN model decomposes the complex dynamic gesture features into three sub sequence.The child HMM model is respectively built，and then the fuzzy inference classifies gestures recognition.By experimental verification，the HMM-FNN model can quickly and effectively identifiy complicated dynamic hand gestures.It has strong robustness.The recognition effect is superior to the HMM model.

Key words：Kinect；Threshold segmentation method；Complex dynamic gesture；HMM-FNN；Gesture recognition

收稿日期：2016-01-12

基金項目：省科技計劃重點轉(zhuǎn)化項目(20140307008GX)

作者簡介：郭曉利(1968-)，女，吉林省吉林市人，東北電力大學(xué)信息工程學(xué)院教授，碩士，主要研究方向：軟件工程、人工智能.

文章編號：1005-2992(2016)02-0090-05

中圖分類號：TP391

文獻(xiàn)標(biāo)識碼：A