華旭奮， 孫 俊

(1.江南大學(xué) 物聯(lián)網(wǎng)工程學(xué)院，江蘇 無錫 214122； 2.無錫職業(yè)技術(shù)學(xué)院，江蘇 無錫 214121)

基于深度信息的手勢識別算法研究*

華旭奮1，2， 孫 俊1

(1.江南大學(xué)物聯(lián)網(wǎng)工程學(xué)院，江蘇無錫214122；2.無錫職業(yè)技術(shù)學(xué)院，江蘇無錫214121)

針對在復(fù)雜背景中傳統(tǒng)手勢識別算法的識別率低問題，利用Kinect的深度攝像頭獲取深度圖像,分割出手勢區(qū)域后進(jìn)行預(yù)處理；提取手勢的幾何特征，并提出深度信息的同心圓分布直方圖特征，融合手勢的幾何特征和深度信息的同心圓分布直方圖特征；學(xué)習(xí)訓(xùn)練隨機(jī)森林分類器進(jìn)行手勢識別。文中通過在復(fù)雜背景條件下對常見的“石頭”、“剪刀”、“布”3種手勢進(jìn)行測試，實(shí)驗(yàn)結(jié)果表明：文中所提方法具有很好的平移，旋轉(zhuǎn)和縮放不變性，能適應(yīng)復(fù)雜環(huán)境的變化。

深度信息； 同心圓分布； 隨機(jī)森林分類器； 手勢識別

0 引 言

手勢識別作為人機(jī)交互技術(shù)中重要的研究方向之一，廣泛應(yīng)用于虛擬現(xiàn)實(shí)系統(tǒng)、手語識別系統(tǒng)以及互動游戲等。然而傳統(tǒng)基于手勢輪廓的手勢識別技術(shù)在受到復(fù)雜背景和光照變化等干擾時(shí)，算法識別效果嚴(yán)重下降[1～3]。近幾年，國內(nèi)外學(xué)者不斷提出新的改進(jìn)方法[4～7]。

Kadous提出了通過佩戴數(shù)據(jù)手套進(jìn)行手勢識別[5]，但數(shù)據(jù)手套設(shè)備造價(jià)昂貴，并且穿戴復(fù)雜，不便于實(shí)驗(yàn)研究。隨著機(jī)器視覺技術(shù)的發(fā)展，文獻(xiàn)[6]提出了利用顏色閾值計(jì)算伸展開的手指個數(shù)，進(jìn)行手勢的分類與識別。然而手勢在采集的過程中受光照變化和復(fù)雜背景的影響，識別率下降明顯。而深度圖像對復(fù)雜背景和光照變化具有魯棒性，因此，Kinect的深度攝像頭被廣泛應(yīng)用于采集圖像深度信息進(jìn)行識別。文獻(xiàn)[7]利用Kinect的深度攝像頭獲取深度圖像信息，采用模板匹配法進(jìn)行手勢識別。文獻(xiàn)[8]提出了基于深度信息的手勢識別方法，通過提取手勢的指頭數(shù)以及指間的夾角等特征進(jìn)行識別。然而上述算法僅考慮了手勢的輪廓信息，忽略了豐富的手勢表面信息。

為了更好地描述手勢表面信息，本文提出了利用深度信息的同心圓環(huán)分布直方圖特征，通過融合同心圓環(huán)直方圖特征以及手勢的輪廓幾何特征進(jìn)行手勢識別。首先利用Kinect采集深度圖像，該圖像可以準(zhǔn)確記錄深度攝像頭有效范圍內(nèi)的深度信息。其次，利用深度閾值結(jié)合骨骼信息分割出手勢區(qū)域，并且進(jìn)行預(yù)處理。然后，提取手勢深度信息的同心圓環(huán)分布直方圖特征描述手勢的表面信息，并且融合手勢的幾何特征、輪廓特征組成特征集。最后，利用隨機(jī)森林分類器判別特征集，識別手勢。

1 Kinect手勢深度信息獲取

1.1 Kinect簡介

Kinect是微軟公司開發(fā)的一種體感設(shè)備，機(jī)身主要由RGB攝像頭、紅外線發(fā)射器和紅外攝像頭組成。RGB攝像頭用來采集彩色圖像，最大分辨率為1 280×960。紅外線發(fā)射器和紅外攝像頭用來獲得深度信息和骨骼信息，紅外攝像頭最大分辨率為640×480。

1.2 手勢深度信息處理

Kinect采集的實(shí)際場景的深度圖像，如圖1所示，深度圖像中的每個像素點(diǎn)的像素值反映了真實(shí)場景中各個點(diǎn)與Kinect攝像頭的距離，精度大約1 mm。此外，Kinect還能有效記錄人體骨骼關(guān)節(jié)點(diǎn)的位置數(shù)據(jù)。然而，在深度攝像頭視野的全部領(lǐng)域中，手勢相對較小，因此,需要從復(fù)雜背景中有效分割出手勢。手勢分割是手勢識別的關(guān)鍵步驟之一，分割的效果直接影響到手勢識別的準(zhǔn)確率。為準(zhǔn)確分割出手勢區(qū)域，本文采用二次分割法進(jìn)行手勢分割，具體步驟如下：

1)讀取手腕和手心處骨骼點(diǎn)的位置數(shù)據(jù)，定位手勢所在區(qū)域。同時(shí)，手勢表面在一個平面上，深度信息平滑變化。因此，定義手勢區(qū)域?yàn)閒(x)

(1)

式中x為深度圖像中每個像素點(diǎn)的深度值；μd為手掌的基準(zhǔn)深度值。當(dāng)深度圖像上的像素點(diǎn)滿足式(1)時(shí)，認(rèn)為此像素點(diǎn)是手勢上的點(diǎn)，得到手勢區(qū)域。

圖1 分割手勢區(qū)域的效果

2)解決背景干擾以及手腕部分的冗余干擾，進(jìn)行二次分割，假設(shè)手心骨骼的平面坐標(biāo)為P(x,y)，手腕處骨骼的平面坐標(biāo)Q(x1,y1),連接手心P和手腕Q，并過手腕Q作直線PQ的垂線。將垂線作為矩形的一條邊，對包含手心的區(qū)域做最小外接矩形。將最小外接矩形以外的干擾去除，分割的手勢如圖1(b)所示。

3)對分割后的手勢圖像進(jìn)行預(yù)處理操作，采用形態(tài)學(xué)圖像處理操作，去除孤立點(diǎn)、噪聲、填充孔洞等。并且為了消除由于不同距離、不同手勢以及手掌本身的大小區(qū)別帶來的影響，將分割后的手勢歸一化為120×120，如圖1(c)所示，進(jìn)行特征提取。

2 手勢特征提取以及手勢識別

2.1 深度信息的同心圓環(huán)分布直方圖特征

深度信息的同心圓環(huán)分布直方圖特征是基于深度信息的描述符，反映了不同手勢表面的深度信息在同心圓環(huán)上的分布情況。對旋轉(zhuǎn)和平移具有魯棒性。深度信息的同心圓環(huán)分布直方圖如圖2，特征提取步驟具體如下：

圖2 深度信息的同心圓環(huán)分布直方圖

1)獲取深度信息：設(shè)定坐標(biāo)原點(diǎn)為O(0,0,0)?？紤]到不同的手勢樣本距離Kinect攝像頭的距離不同，平移深度坐標(biāo)軸，設(shè)置新的坐標(biāo)原點(diǎn)為O(0,0,d)歸一化手勢樣本，其中d為有效分割后手勢表面的最小深度值。由此，手勢表面的深度信息空間分布特征更加明顯。

2)提取同心圓環(huán)分布直方圖特征：在有效分割后的手勢區(qū)域中，獲取手勢區(qū)域質(zhì)心，以質(zhì)心為圓心獲取手勢的最小外接圓，并獲取N個同心圓環(huán)分布直方圖描述手勢的深度特征。

(2)

式中Ω為手勢區(qū)域；p(xi,yi)為手勢區(qū)域中的第i個像素的平面坐標(biāo)。

(3)

式中p(x′,y′)為手勢邊緣輪廓Φ上點(diǎn)的平面坐標(biāo)。

3)完成特征提?。韩@取以N個深度信息同心圓環(huán)分布直方圖Hi,i=1,2,3,4,…,N,表示手勢深度特征

FH=[H1,H2,H3,…,HN]T

(4)

2.2 手勢的幾何特征

本文主要提取緊湊度和矩形度這兩個重要的形狀描述特征，對手勢的旋轉(zhuǎn)、平移和大小具有魯棒性。

緊湊度是基于形狀的描述符，大小代表手勢的緊湊程度。緊湊度CA特征如下

(5)

式中l(wèi)為手勢輪廓的周長；S為手勢的面積。

矩形度是用來描述手勢接近矩形的程度

(6)

式中SM為手勢的最小外接矩形。矩形度值越接近于1，手勢越接近矩形。因此，幾何特征集為

FG=[CA,RA]T

(7)

融合深度信息的同心圓環(huán)分布直方圖特征和手勢的形狀特征，如公式

F=[FH,FG]=[CA,RA,H1,H2,H3,…,HN]T

(8)

2.3 隨機(jī)森林分類識別

本文采用隨機(jī)森林分類器作為手勢識別分類器，將F特征集放入到隨機(jī)森林分類器進(jìn)行訓(xùn)練和測試。

3 實(shí)驗(yàn)結(jié)果及分析

實(shí)驗(yàn)在自然環(huán)境下采用Kinect獲取深度圖像建立手勢庫，手勢庫共選用10個實(shí)驗(yàn)對象,要求每個實(shí)驗(yàn)對象完成手勢“石頭”、“剪刀”、“布”3種手勢各10次，手勢庫中共包括300個樣本。如圖3所示，樣本中包含手勢大小不一，手勢旋轉(zhuǎn)，手勢存在粘指現(xiàn)象。

圖3 手勢深度信息

3.1 參數(shù)設(shè)置

在手勢表面深度信息的描述中，同心圓環(huán)的個數(shù)參數(shù)N的選取至關(guān)重要，本實(shí)驗(yàn)中，僅選用深度分布直方圖特征來識別手勢。隨機(jī)選取樣本的一半作為訓(xùn)練樣本，余下的為測試樣本，且在同一個參數(shù)下，實(shí)驗(yàn)運(yùn)行10次，取平均識別率，實(shí)驗(yàn)結(jié)果如圖4所示，橫坐標(biāo)為參數(shù)N的值，縱坐標(biāo)為實(shí)驗(yàn)的平均識別率。從圖4中，很容易發(fā)現(xiàn)，當(dāng)參數(shù)N比較小時(shí)，即N<6時(shí)，手勢的平均識別率急劇下降，當(dāng)參數(shù)N比較大時(shí)，手勢的平均識別率趨于平滑且收斂于一個極限值，但是隨著N的增加計(jì)算復(fù)雜度也會相應(yīng)增加，綜合考慮上述因素，本文中設(shè)置參數(shù)N=6。

圖4 不同參數(shù)N對應(yīng)的平均識別率

3.2 魯棒性評估

1)由于本文的研究對象為具有深度信息的手勢，深度圖像對復(fù)雜環(huán)境不敏感，因此，本文手勢識別方法不受復(fù)雜環(huán)境的干擾，對手勢的旋轉(zhuǎn)和平移具有魯棒性。2)采用二次分割方法準(zhǔn)確分割出手勢區(qū)域，對手勢進(jìn)行歸一化，解決了手勢的尺寸不一致問題，避免了距離Kinect位置不一致帶來的影響。因此，本文手勢識別方法具有手勢大小不變性。3)本文識別方法統(tǒng)計(jì)了手勢表面深度信息分布和手勢的幾何特征，不同的手勢不會影響識別，因此，本文手勢識別方法具有旋轉(zhuǎn)不變性。

3.3 實(shí)驗(yàn)驗(yàn)證

為了證明所提方法的有效性，將所提方法與僅有幾何特征的方法，僅有深度信息的同心圓環(huán)分布直方圖特征方法，以及文獻(xiàn)[9]形狀參數(shù)特征方法進(jìn)行比較。實(shí)驗(yàn)中，所有的方法均使用采集的手勢庫，隨機(jī)從手勢庫中抽取1/3的樣本作為訓(xùn)練樣本，余下的作為測試樣本，每種方法的每種手勢的識別結(jié)果如表1所示。相比其他方法本文方法獲得較高的識別結(jié)果。由表1的前3行看到：融合幾何特征和深度分布直方圖特征能夠很明顯地提高手勢識別率。文獻(xiàn)[9]的方法具有稍低的識別率的原因是該方法對手勢的粘指現(xiàn)象不具有魯棒性。而本文提出以手掌中心為圓心，提取手勢的N個同心圓環(huán)分布直方圖特征進(jìn)行識別，手勢的粘指現(xiàn)象不會影響深度信息的同心圓環(huán)分布，因此，本文識別方法能夠更好地處理粘指現(xiàn)象。

表1 不同方法的平均識別率 %

4 結(jié)束語

利用Kinect的優(yōu)勢提出了在復(fù)雜背景下基于深度空間分布特征的手勢識別算法。提出了深度信息的同心圓環(huán)分布直方圖特征提取方法，簡單、易行，具有較強(qiáng)的實(shí)用性。另外，由于深度信息的同心圓環(huán)分布直方圖特征是一種基于統(tǒng)計(jì)分析的算法，且融合了緊湊度和矩形度兩個重要的手勢幾何特征，因此，本文提取的手勢特征具有旋轉(zhuǎn)、縮放、平移的不變性，并且解決了粘指問題。實(shí)驗(yàn)結(jié)果表明：在環(huán)境復(fù)雜，光照不穩(wěn)定的條件下,本文算法具有良好的適應(yīng)性和魯棒性。

[1] Song Y,Demirdjian D,Davis R.Continuous body and hand gesture recognition for natural human-computer interaction[J].ACM Transactions on Interactive Intelligent Systems,2012,2(1):1-28.

[2] 劉亞瑞,楊文璐.基于Kinect和變形雅可比—傅里葉矩的手勢識別[J].傳感器與微系統(tǒng),2016,35(7):48-50.

[3] Li S Z,Yu B,Wu W,et al.Feature learning based on SAE-PCA network for human gesture recognition in RGBD images[J].Neuro Computing,2015,151(151):565-573.

[4] 王 堯,孫子文,周治平.一種基于手機(jī)加速度傳感器的三維手勢身份認(rèn)證方法[J].傳感器與微系統(tǒng),2014,33(8):37-40.

[5] Kadous W.GRASP:Recognition of Australian sign language using instrumented gloves[J].Kidney International,1995,47(1):7-24.

[6] Victor Ayala-Ramirez,Sergio A.Mota-Gutierrez,Uriel H Hernandez-Belmonte,et al.A hand gesture recognition system based on geometric features and color information for human computer interaction tasks[C]∥Proceedings of Robotics Summer Meeting,Mexico,2011：54-59.

[7] Ren Z,Yuan J,Zhang Z.Robust hand gesture recognition based on finger-earth mover's distance with a commodity depth came-ra[C]∥2011 International Conference on Multimedea,Scottsdale,AZ,USA,2011:1093-1096.

[8] 曹雛清,李瑞峰,趙立軍.基于深度圖像技術(shù)的手勢識別方法[J].計(jì)算機(jī)工程,2012,38(8):16-18.

[9] Panwar M.Hand gesture recognition based on shape parameters[C]∥International Conference on Computing,Communication and Applications,IEEE,2012:1-6.

Researchongesturerecognitionalgorithmbasedondepthinformation*

HUA Xu-fen1,2， SUN Jun1

(1.SchoolofInternetofThingsEngineering,JiangnanUniversity,Wuxi214122,China;2.WuxiInstituteofTechnology,Wuxi214121,China)

In order to deal with the problem of low recognition rate of traditional hand gesture recognition algorithm with complex background，a gesture recognition algorithm based on depth information is proposed.Depth image is obtained by the depth camera of Kinect,pre-processing is performed after dividing the gesture area.Geometric features of hand gesture are extracted,character of concentric distribution histogram of depth information is presented.Learn and train random forest classifier for gesture recognition,the geometric features of the hand gestures and the histograms of the concentric circles of the depth information are used to recognize the tested hand gesture via random forest classifier.Three kinds of gestures, such as stone,scissors and cloth, are tested under complex background.The experimental results show that the proposed method has better translation,rotation and scaling invariance,and can adapt to the change of complex environment.

depth information; concentric distribution; random forest classifier; hand gesture recognition

10.13873/J.1000—9787(2017)12—0122—04

TP 391

A

1000—9787(2017)12—0122—04

2017—01—03

江蘇省高校自然科學(xué)研究面上資助項(xiàng)目(16KJB520051)

華旭奮(1982-)，女，碩士研究生，主要研究方向?yàn)橹悄芸刂?。孫 俊(1971-)，男,通訊作者，博士，教授，博士生導(dǎo)師，主要從事人工智能研究、智能算法設(shè)計(jì)與分析研究工作，E—mail:sunjun_wx@hotmail.com。