郭曉利，楊婷婷，張雅超

(1.東北電力大學 信息工程學院，吉林 吉林 132012；2.國網(wǎng)吉林省電力有限公司 吉林供電公司，吉林 吉林 130021)

?

基于Kinect深度信息的動態(tài)手勢識別

郭曉利1，楊婷婷1，張雅超2

(1.東北電力大學 信息工程學院，吉林 吉林 132012；2.國網(wǎng)吉林省電力有限公司 吉林供電公司，吉林 吉林 130021)

摘要：針對復雜動態(tài)手勢識別問題，本文首先通過體感傳感器Kinect獲取人體深度圖像，利用閾值分割法分割出手勢深度圖像，然后建立由隱馬爾可夫模型(HMM)和模糊神經(jīng)網(wǎng)絡(FNN)相結(jié)合的HMM-FNN模型進行動態(tài)手勢識別。本文的動態(tài)手勢主要是針對虛擬變電站中對設備的常用操作手勢來進行人機交互研究的。HMM-FNN模型將復雜動態(tài)手勢特征分解為三個子特征序列，分別建立HMM模型，然后進行模糊推理對手勢進行分類識別。經(jīng)實驗驗證，HMM-FNN模型能快速有效識別復雜動態(tài)手勢，且魯棒性強，識別效果明顯優(yōu)于HMM模型。

關鍵詞：Kinect；閾值分割法；復雜動態(tài)手勢；HMM-FNN；手勢識別

由于手勢具有自然、直觀的特點，手勢交互成為人機交互中對用戶限制最少的交互模式，目前，基于視覺的手勢識別在體感游戲、機器人機械手的抓取等方面得到越來越廣泛的應用[1-2]。體感傳感器Kinect是微軟公司推出的外接體感設備，可以同時獲取RGB圖像和深度圖像，逐漸成為基于視覺手勢識別的重點研究對象。開源軟件OpenNI定義并形成標準的API，可以方便的訪問和使用Kinect設備，但它只提供了單擊、揮動、舉起、移動4種簡單的手勢[3]，不能滿足用戶利用自然手勢進行人機交互的需求，這就需要豐富擴展其手勢集。

近年來，基于Kinect的手勢識別研究也成為熱點，文獻[4]采用隱馬爾科夫模型HMM進行動態(tài)手勢識別，HMM能對手勢軌跡進行有效識別，但是只針對相對簡單的動作手勢；文獻[5]采用加權(quán)的動態(tài)時間規(guī)整DTW算法進行手勢識別，訓練過程簡單，但實驗計算量大，且識別過程容易受周圍人手的干擾。本文使用Kinect體感傳感器建立由隱馬爾可夫模型(HMM)和模糊神經(jīng)網(wǎng)絡(FNN)相結(jié)合的復合手勢識別模型HMM-FNN，它將高維手勢特征分解為3個低維特征序列，根據(jù)其特征分別建立HMM模型，同時結(jié)合FNN的模糊推理能力，進行動態(tài)手勢的識別[6]。本文采用虛擬變電站中仿真人員對變電站設備的常用動態(tài)操作手勢進行模型訓練，實驗發(fā)現(xiàn)該復合模型能快速準確的識別復雜動態(tài)手勢，并有效降低系統(tǒng)復雜度，減少計算負擔。

1深度圖像的獲取

圖1　Kinect獲取的彩色圖像和深度圖像

Kinect的CMOS紅外傳感器可以感知外界，通過紅外激光散斑的感應獲得深度信息，能夠不受環(huán)境光照和復雜背景的影響，由此能實現(xiàn)手勢跟蹤與識別[4]。本文利用Kinect 2.0的深度攝像頭直接獲取深度圖像，在此之前需要將Kinect 2.0連接到符合其配置要求的計算機上，并下載安裝Kinect for windows SDK 2.0、OpenCV、OpenNI，在Microsoft Visual Studio 2013環(huán)境下完成軟硬件配置過程。

首先初始化Kinect對象，獲取由深度攝像頭輸入的數(shù)據(jù)流[7]，然后通過ColorFrameReady、DepthFrameReady事件觸發(fā)來獲取景深數(shù)據(jù)[8]，如圖1。獲取深度圖像以后需要調(diào)用getMetaData()函數(shù)更新手勢數(shù)據(jù)。

表1cvThreshold()中threshold_type取值和相應的操作

2手勢圖像的采集與閾值分割

本文主要針對手部動作進行研究，因此在獲取深度圖像后需要對手部圖像信息進行采集與分割。Kinect采集的深度信息存儲在一個二維數(shù)組里，每個數(shù)據(jù)對象實際上是像素點對應物體到深度攝像頭的距離[3]，根據(jù)日常中手部離深度攝像頭的距離設定閾值，分割出手所在范圍的深度圖。首先用Nite模塊跟蹤到手區(qū)域重心位置，然后采用OpenCV中的函數(shù)cvThreshold()實現(xiàn)閾值分割[9]。它通過比較給定數(shù)組中的每一個元素值與設定的閾值threshold_type的大小來進行相應的操作，從而實現(xiàn)手勢部分深度圖的分割，如表1所示。

最后將深度圖中的手勢區(qū)域與背景區(qū)域作二值化處理[10]，突出顯示手部效果，實現(xiàn)手勢分割，如圖2。

圖2　手勢分割圖

3手勢的跟蹤及識別

本文在完成閾值分割的工作后，得到手部深度圖像，為實現(xiàn)動態(tài)手勢的識別需要對動態(tài)手勢進行快速準確的跟蹤，采用OpenNI的預備手勢檢測到人手后[4]，通過記錄手部重心的位置來跟蹤運動的手勢。

3.1動態(tài)手勢特征提取

本文所研究的動態(tài)手勢具有時間上可變、空間上可變及手勢的完整性可變的特征，本文將復雜動態(tài)手勢序列分為手形的變化、手在二維平面位置的變化和Z軸方向運動三個特征序列[6]，分別進行特征提取。

在手勢深度圖像中，手形特征通過各手指的長度及手指之間的距離進行表示。5根手指，設手指指尖與手部區(qū)域重心連線的長度分別為l0-l4，手指間距離為d0-d4。手指之間有遮擋時，被遮擋的手指長度設為0，相鄰手指的距離則由可見的手指之間的距離來表示，手形的基本特征通過l0-l4，d0-d4即可表示出來。為了使手形不受尺度縮放的影響，l0-l4，d0-d4通過除以當前幀中手的外包圓直徑dh得到新的特征值來實現(xiàn)規(guī)范化處理[11]。此外，不同手形對應的數(shù)值集群不同，本文設定不同手形對應的基數(shù)數(shù)值Vbase，使不同手形的特征值分布在不同的數(shù)值區(qū)間段。手形特征值V可以根據(jù)公式(1)得出：

(1)

式中:a(0≤a≤100)是一個比例常數(shù)；n(0≤n≤5)是可見的手指數(shù)量；E是偏心率，由公式(2)計算得出：

(2)

式中，A，B是剛體繞X，Y軸的慣性矩，H是慣性積。

圖3　方向角區(qū)域的劃分

對于Z軸方向的運動，本文通過記錄手掌面積來獲得Z軸運動方向。將每個時刻的手掌面積與初始時刻(t=0)的手掌面積S0進行比較，本文得到一組連續(xù)的歸一化面積數(shù)值S：1，s1，…，si，…ST。

3.2HMM-FNN模型

隱馬爾可夫模型是一種統(tǒng)計分析模型，是由具有一定狀態(tài)數(shù)的隱馬爾可夫鏈和顯示隨機函數(shù)集結(jié)合的雙重隨機過程，時序建模能力比較強[13]。模糊神經(jīng)網(wǎng)絡是由模糊理論與神經(jīng)網(wǎng)絡結(jié)合起來的，它綜合了兩者的優(yōu)點，能實現(xiàn)學習、功能關聯(lián)、識別和信息處理[14]，但它僅適于離散的特征向量，不能處理時序序列。HMM-FNN模型根據(jù)復雜動態(tài)手勢的運動特點建立相應的時序模型，同時結(jié)合FNN模型模糊規(guī)則建模和推理能力，成為一種符合動態(tài)手勢識別需求的復合模型結(jié)構(gòu)[6]。

本文采用的HMM-FNN模型中，根據(jù)特征提取的類型，HMM模型主要針對手勢的3維特征序列進行建模，手形變化、Z軸方向運動特征序列采用一維連續(xù)HMM模型進行建模，整體手的2維平面運動則由一維離散HMM模型建模，分別記為手形變化HMM模型——PH(Posture HMM)、二維平面運動軌跡HMM模型——TH(Trajectory HMM)、Z軸方向運動——ZH(ZHMM)。

混合高斯模型(GMM)使用3至5個高斯模型來表示圖像中各個像素點的特征，在獲取新一幀圖像后更新GMM，用當前圖像中的每一個像素點與GMM匹配，來判斷背景點與前景點[15]。在GMM模型下觀察矢量Q的似然度為：

(3)

式中:ωi為分量i的權(quán)重，gi(x)為一維高斯密度函數(shù)且gi(x)-N(μ，σ2)。連續(xù)的HMM模型采用GMM作為觀察特征的輸出概率密度。

3.3動態(tài)手勢的識別

本文在前面實現(xiàn)手勢跟蹤的基礎上，進而實現(xiàn)對動態(tài)手勢的識別。將跟蹤到的動態(tài)手勢序列分解為三組序列，即平面軌跡點序列，手形變化序列和手心距離序列。手形變化序列和手心距離序列輸入到連續(xù)型HMM模型中進行分類評估，在運動方向上對平面軌跡點序列進行方向特性量化后得到離散方向特征序列，將其輸入到離散HMM模型來評估。在完成動態(tài)手勢特征序列輸入到HMM模型后，采用前向遞推法計算HMM模型的似然度p(Q/λ)，將其作為模糊隸屬度，完成模糊化預處理。然后采用Sum-Product推理方法進行模糊推理與判決，從而識別出手勢的語義。

4實驗及分析

本實驗采用KinectforWindows2.0，Kinect2.0所需的硬件要求：基于64位的處理器，2.5GHzi7處理器或更快的處理器，4GBRAM，DX11顯卡適配器，USB3；OS為：win8、win8.1。實驗采用PC一臺，配置如下：CPU為IntelCorei7 2.6GHz，64位處理器，4GBRAM，顯卡為NAIDIAGeForceGT720M，內(nèi)置USB3.0總線。OS為win8.1。在MicrosoftVisualStudio2013的編譯環(huán)境下，本文采用C#編程實現(xiàn)識別功能。

首先為跟蹤過程設定了10個靜態(tài)手勢，包括1個握拳手形，3個1手指手形，2個2手指手形，2個3手指手形，1個4手指手形和1個5手指手形，分別標記為pos1-pos10。

動態(tài)手勢的手形變化有pos1變化為pos2，pos2變化為pos10等，設置PH中狀態(tài)節(jié)點數(shù)目為5；整體手的2維平面運動軌跡設計為8種，向上、下、左、右移動，順時針、逆時針旋轉(zhuǎn)，N形運動，Z形運動，狀態(tài)節(jié)點設為4，在GMM中，高斯節(jié)點的個數(shù)同為4；z軸方向運動有前推、后拉、先前推再后拉及先后拉再前推4種運動類型，狀態(tài)節(jié)點設為3。

本文根據(jù)虛擬變電站中對變電站設備的常用操作——選擇、移動、放縮、旋轉(zhuǎn)，設計了相對應的交互手勢，如表2所示。

表2　自定義的交互手勢集

手勢1至7選擇10個實驗者進行15次，則每種手勢有150組數(shù)據(jù)，隨機抽取100組做訓練數(shù)據(jù)，測試數(shù)據(jù)則由剩余50組構(gòu)成。首先對PH、TH、ZH分別進行訓練，HMM模型中狀態(tài)節(jié)點數(shù)目的選擇需要根據(jù)手勢的復雜程度來決定，在GMM中，高斯狀態(tài)分量的個數(shù)與狀態(tài)節(jié)點的數(shù)目相同。然后利用誤差反向傳播BP算法對與模糊神經(jīng)網(wǎng)絡的連接權(quán)重進行訓練。對于與FNN的連接權(quán)重進行訓練。如手勢7的動作只與手形變化相關，可以在建立HMM的模型中，免除與TH的節(jié)點連接，在設置規(guī)則條件的權(quán)重時，手形變化權(quán)重略大于Z軸方向運動。

本文為了與普通的HMM作比較，在完成訓練過程后，對手勢進行了HMM模型訓練，并統(tǒng)計其正確率，如表3所示。

表3　動態(tài)手勢識別實驗結(jié)果

分析實驗結(jié)果，對于復雜動態(tài)手勢1-7，HMM-FNN的識別率明顯高于HMM模型。實驗說明HMM-FNN模型雖然訓練過程較為復雜，但它通過連接模糊神經(jīng)網(wǎng)絡，運用模糊推理能力，能有效快速準確的實現(xiàn)復雜動態(tài)手勢的識別；且Kinect2.0能區(qū)分識別多人手勢，并可將離攝像頭最近的手勢設置為主識別手勢，識別過程不受周圍多人手勢的影響，抗干擾能力強。

5結(jié)束語

本文主要對基于Kinect的動態(tài)手勢識別進行了研究，建立了HMM-FNN的復合模型，經(jīng)實驗驗證，本研究能準確快速的識別一系列的動態(tài)手勢，并豐富了Kinect的動態(tài)手勢集?；贖MM-FNN復合模型的動態(tài)手勢識別方法較之于單純的隱馬爾科夫模型，它充分考慮到手勢本身的空間特征和模糊特性：針對空間特征將動態(tài)手勢特征序列分為手形變化、整體手的二維平面運動及Z軸方向運動3組特征序列，然后輸入到HMM-FNN中分別進行識別，降低了系統(tǒng)識別復雜度；針對模糊特性，它連接到FNN模型中進行模糊推理，加強了系統(tǒng)的魯棒性，比簡單的確定性推理更適用于該手勢識別。下一步打算將此手勢識別方法應用到變電站三維可視化培訓平臺[16]中，使用自然習慣動作完成設備拆卸、安裝、檢修等虛擬操作過程，實現(xiàn)人機交互式學習。

參考文獻

[1]王艷，張奇志.基于Kinect深度信息的手勢識別[J].北京信息科技大學學報，2013，28(1)：22-26.

[2]Tomoya M，Jungpil S，and Pankoo K.Hand gesture and character recognition based on Kinect sensor[J].International Journal of Distributed Sensor Networks，2014，(2014)：1-6.

[3]陳艷艷，陳正鳴，周小芹.基于Kinect的手勢識別及在虛擬裝配技術中的應用[J].電子設計工程，2013，21(10)：3-7.

[4]陶麗君，李翠華，張希婧，等.基于Kinect傳感器深度信息的動態(tài)手勢識別[J].廈門大學學報，2013，52(4)：493-497.

[5]余旭.基于Kinect傳感器的動態(tài)手勢識別[D].西南大學，2014.

[6]王西穎，戴國忠，張希文，等.基于HMM-FNN的復雜動態(tài)手勢識別[J].軟件學報，2008，19(9)：2302-2312.

[7]Yangecnu.Kinect for Windows SDK 開發(fā)入門(一)：開發(fā)環(huán)境配置[OL].http：//www.cnblogs.com/yangecnu/archive/2012/03/30/KinectSDK_Geting_Started.html.2015.4.

[8]Yangecnu.Kinect for Windows SDK 開發(fā)入門(四)：景深數(shù)據(jù)數(shù)據(jù)處理(上)[OL].http：//www.cnblogs.com/yangecnu/archive/2012/04/04/KinectSDK_Depth_Image_Processing_Part1.html.2015.4.

[9]雷建鋒，汪偉.基于OpenCV的圖像閾值分割研究與實現(xiàn)[J].現(xiàn)代電子技術，2013，36(24)：72-76.

[10] 曹雛清，李瑞峰，趙立軍.基于深度圖像技術的手勢識別方法[J].計算機工程，2012，38(8)：16-18.

[11] Chong W，Zhong L，and Shing-Chow C.Superpixel-based hand gesture recognition with Kinect depth camera[J].IEEE Transactions on Multimedia，2015，1(17)：29-39.

[12] 王德鑫，石崇林，張茂軍.基于Petri網(wǎng)和BPNN的多重觸控手勢識別[J].模式識別與人工智能，2012，23(3)：408-413.

[13] 林闖，胡杰，孔祥震.用戶體驗質(zhì)量(QoE)的模型與評價方法綜述[J].計算機學報，2012，35(1)：1-15.

[14] 譚濤，任開春，陳熙隆,等.模糊神經(jīng)網(wǎng)絡技術[J].重慶文理學院學報：自然科學版，2011，30(1)：71-74.

[15] 朱齊丹，李科，張智,等.改進的混合高斯自適應背景模型[J].哈爾濱工程大學學報，2010，31(10)：1348-1353，1392.

[16] 曲朝陽，侯嵩林，張玉萍,等.變電站三維可視化培訓平臺的實現(xiàn)[J].東北電力大學學報，2014，34(3)：75-79.

Gesture Recognition Based on Kinect Depth Information

GUO Xiao-li1，YANG Ting-ting1，ZHANG Ya-chao2

(1.School of Information Engineering，Northeast Dianli University，Jilin Jilin 130021；2.Jilin Power Supply Company，State Grid Electric Power Limited Company in Jilin Province，Jilin Jilin 130021)

Abstract：According to the problem of complex dynamic gesture recognition，this paper obtains the body depth image through the body feeling sensor device Kinect，and the threshold segmentation method is used to segment the gestures depth image.In this paper，the dynamic hand gestures is mainly aiming at common operations of equipment in virtual substation gestures for studying the human-computer interaction.Then the HMM-FNN model combined by the Hidden Markov Model (HMM) and the Fuzzy Neural Network (FNN) is used for dynamic gesture recognition.HMM-FNN model decomposes the complex dynamic gesture features into three sub sequence.The child HMM model is respectively built，and then the fuzzy inference classifies gestures recognition.By experimental verification，the HMM-FNN model can quickly and effectively identifiy complicated dynamic hand gestures.It has strong robustness.The recognition effect is superior to the HMM model.

Key words：Kinect；Threshold segmentation method；Complex dynamic gesture；HMM-FNN；Gesture recognition

收稿日期：2016-01-12

基金項目：省科技計劃重點轉(zhuǎn)化項目(20140307008GX)

作者簡介：郭曉利(1968-)，女，吉林省吉林市人，東北電力大學信息工程學院教授，碩士，主要研究方向：軟件工程、人工智能.

文章編號：1005-2992(2016)02-0090-05

中圖分類號：TP391

文獻標識碼：A