崔家禮　解　威　王一丁　賈瑞明

(北方工業(yè)大學電子信息工程學院　北京 100144)

?

基于自適應手指分割與判別的靜態(tài)手勢識別

崔家禮解威王一丁賈瑞明

(北方工業(yè)大學電子信息工程學院北京 100144)

由于動態(tài)手勢可以看作是多幀靜態(tài)手勢的融合，研究靜態(tài)手勢成為解決手勢識別問題的重點。針對靜態(tài)手勢，提出一種自適應手指分割與判別的手勢識別算法。首先，運用YCbCr顏色空間的膚色聚類特性對手勢圖像進行分割，并采用質心點漂移的理念確定手指方向并作旋轉歸一化處理；其次，針對手勢輪廓點的梯度方向和跨度確定手指的候選區(qū)域，并結合形態(tài)學的方法重建出單一手指的二值化形態(tài)；最后，選取恰當?shù)男螤钐卣鳎\用SVM分類器對其形狀特征進行分類。實驗表明該方法具有較好的識別率。

手勢識別手指重建手指判別手指分割形狀特征

0　引　言

在智能化的今天，高效的人機交互使人類的生活變得更為便捷，交流變得更為簡單。隨著科技的迅猛發(fā)展，人機交互成為智能化世界的重要組成部分，一個簡單的操作、一句簡短的指令，往往就能使計算機完成較為復雜的工作。最常見的人機交互是使用簡單的機械設備對計算機發(fā)出操作指令，如使用鼠標、鍵盤等，這些設備盡管在生活中隨處可見，但其速度和自然性依然限制了人與計算機之間的互交[1-4]。傳統(tǒng)鼠標、鍵盤的簡單輸入已經(jīng)不能滿足人們對更復雜行為的需求，人機交互的目標正向著一種更為自然、便捷的非接觸式交互方式邁進。

在虛擬現(xiàn)實領域中，手勢的檢測和識別逐漸成為該領域中研究的重點。人與人的交流時，除自然和書面的語言以外手語的交流也是一種重要的溝通方式。其較為自然、簡單、高實時性的特點不僅不受地域文化等限制，而且使其在某些程度上成為比自然語言更為方便的交流方式。其目的就是為了使計算機更為有效、準確地理解人類所表達的語義[5]。迄今為止，手勢識別算法在機器視覺方向有著廣泛的應用，例如機器人視覺、體感游戲和聾啞人的交流等[2,3]。

傳統(tǒng)意義上的手勢識別分為靜態(tài)手勢識別和動態(tài)手勢識別兩種[6]，而動態(tài)手勢可以看作是多幀靜態(tài)手勢的融合，故研究靜態(tài)手勢是解決手勢識別問題的重點[1,15]。上海理工大學的王先軍等人[7]運用手勢分割圖像中的7個不變Hu矩描述子來表征手勢的輪廓特征，并利用BP神經(jīng)網(wǎng)絡優(yōu)秀的學習特性進行手勢識別，但由于BP神經(jīng)網(wǎng)絡的收斂速率受學習速率的影響，故其實時性能并不理想。另外，隨著Kinect相機的普及，為了解決復雜背景下的手勢識別問題，許多研究者選擇使用手勢的深度信息對其進行分析[8]，如江南大學的李吉等人[9]利用手勢的深度信息對手指和手部進行跟蹤，解決了因不同光照和復雜背景造成的影響。但由于深度信息的精度問題，使手指垂直指向攝像頭時的檢測率并不理想，而提高圖像質量必然會帶來計算量的增大，降低識別效率。為了解決手勢的多樣性問題，Deval G.Patel等人[10]利用SFIT特征點匹配算法對美國手語(ASL)的26靜態(tài)手勢字母A-Z和10個數(shù)字0-9進行匹配識別。而對于動態(tài)手勢方面華南理工大學的許杏等人[11]運用隱馬爾科夫模型(HMM)對手勢的空間特性和時間特性及其相關關系建立模型，實現(xiàn)對動態(tài)手勢的識別，并對系統(tǒng)跟蹤算法的性能和識別率的高低進行綜合評估。而燕山大學的荊雷等人[12]利用動態(tài)時間規(guī)整算法(DTW)，計算測試模板與參考模版之間的相似度，準確率方面較HMM算法有所提高。

對比以上手勢算法研究，現(xiàn)階段手勢識別的難點主要集中在:①復雜背景下的手勢分割問題；②手掌和手腕處冗余信息的去除問題；③手勢的旋轉性、不固定性等差異問題；④手勢的識別的復雜度等幾個方面[1,13]。針對以上問題，本文提出了一種新的基于手勢形態(tài)特征的識別方法。利用梯度方向性結合邊緣跨度的方法對手指候選區(qū)域與手掌手臂部分進行區(qū)分，有效地減少了冗余信息，并利用形態(tài)學原理重建出單一手指候選區(qū)域，選擇合理的手指形狀特征，運用SVM良好的高維分類特性對手指特征進行分類識別，達到了良好的識別率。為了驗證識別精度，本文選用文獻[10] SIFT特征點匹配的方法對相同數(shù)據(jù)庫的手勢進行識別，對比了兩種方法的優(yōu)缺點。

1　基于形狀的靜態(tài)手勢數(shù)字識別

本文主要針對0-5的靜態(tài)手勢識別，手勢0-5可以表示數(shù)字0-5，也可以映射為不同的指令，從而實現(xiàn)人機交互。首先對訓練圖像進行預處理，分割出手勢的二值圖像，然后對圖像進行特征提取，設計出合理的分類器。識別時，將待測數(shù)據(jù)集進行預處理、重建、特征提取后送入設計好的分類器中，從而識別手勢，整個程序主要流程如圖1所示。

圖1　手勢識別基本流程圖

1.1圖像預處理、膚色分割及歸一化

圖2　手勢圖像預處理步驟

在手勢圖像采集過程中，下列因素可能影響手勢圖片的質量，從而使識別造成誤差：(1)手勢的姿態(tài)不統(tǒng)一，存在平移、扭動、旋轉等變化；(2)每個人手的大小不一致，手指大小、長寬比等形狀特征也不盡相同，與此同時，不同手勢離攝像頭的距離也不能始終保持一致，故歸一化手的大小顯得至關重要；(3)由于不同時間采集時外界環(huán)境的改變會造成膚色空間的不同，導致手勢分割結果的偏差，從而直接影響識別結果；(4)采集時由于攝像頭焦距的改變和采集卡對攝像頭靜態(tài)圖像掃描時，會受到硬件電路電流不穩(wěn)定而產(chǎn)生的暗電流噪聲影響，對分割結果造成影響。針對以上問題，本文設計如下步驟對圖像進行預處理，如圖2所示。

本文對不同手勢進行分類采集，由于采集時間和不同攝像頭焦距的差異，光照強度可能會有所不同，在不同的時間段，手背圖像的灰度級分布在不同的范圍。為減少差異，對采集的手勢圖片進行光照補償。同時噪聲的存在會使手勢分割和特征提取及分類準確度下降，為了減少采集圖片含有的噪聲，本文選用傳統(tǒng)的中值濾波器來降低噪音。盡管進行過光照補償處理，但光強仍然會對分割造成影響，由于YCbCr顏色空間亮度和色度可以分離的性質可以克服一定程度的光照干擾，故本文運用YCbCr色彩空間對膚色進行分割，提取手勢區(qū)域。由于背景因素影響，分割后結果會含有不同程度的噪聲，為減少噪聲，對分割后的二值圖像采用去除小連通域和洞孔填充處理?；叶葓D像預處理結果如圖3所示。

圖3　灰度圖像預處理示意圖

考慮到采集手勢時的實時性和連續(xù)性，對圖像進行旋轉矯正。設手勢二值分割圖像的質心為C(x0,y0)：

(1)

其中x,y為圖像坐標，I(x,y)為在圖像在該坐標下像素的灰度值。

圖4　手指方向判斷

對分割后的手勢圖像進行形態(tài)學腐蝕處理，根據(jù)每個手指的寬度遠小于手掌寬度，并且手指均在同一垂直方向這一特點，本文利用形態(tài)學質心偏移的方法來確定手指的大概方向。如圖4所示，(X1,Y1)為原手勢質心，(X2,Y2)為腐蝕質心偏移后的新質心。

以原質心點和腐蝕后的質心點為基準點，以y軸作為旋轉的最終方向，來估計到垂直旋轉的角度θ，如式(2)所示：

(2)

對手勢圖像做角度為θ的旋轉變換，得到旋轉后的配準圖像，并對其旋轉后的圖像運用Sobel算子求出邊界圖像，如圖5所示。

(a) 手勢旋轉結果B(x,y)　　(b) Sobel算子提取邊緣結果圖5　手勢圖像旋轉后結果

根據(jù)式(3)對旋轉后的手勢圖像B(x,y)中對其邊界圖像上的每個像素點的梯度分量gx和gy。

(3)

并運用式(4)計算其梯度的方向θ′。梯度方向如圖6所示。

(4)

圖6　手勢輪廓梯度方向

沿著每個點的梯度方向，根據(jù)式(5)求出每個邊緣點梯度方向內最小的跨度dmin。

(5)

前景最小跨度dmin(x,y)的取值結果如圖7所示。橫軸為梯度方向內前景跨度的取值，縱軸為此跨度大小時內像素點的個數(shù)。

圖7　梯度方向前景寬度

圖8　梯度方向前景寬度分割效果

將圖7看作一張圖片的直方圖，假設手指為圖像前景，手掌和手臂為圖像背景，根據(jù)Otsu閾值分割方法，可計算出閾值T1將部分前景和背景分隔開，將T1之前的所有數(shù)據(jù)近似擬合成一條高斯曲線，如圖7所示。可計算出該高斯曲線的均值μ和方差。根據(jù)式(6)計算出分割手指候選區(qū)域的閾值T2。分割結果如圖8所示，可得到手掌圖像V，即圖8中虛線圈出部分。手指和手臂下部圖像F。

T2=σ+3μ

(6)

對手掌部分向豎直方向進行縱向積分，根據(jù)積分曲線最高點可得到手掌的大概寬度Wpalm，如圖9所示。

圖9　手掌部分縱向積分圖

根據(jù)解剖學資料，手掌寬度與手掌長度存在如式(7)所示比例關系[14]?？晒浪愠鍪终频墓烙嬮L度和面積Lpalm和Spalm。

(7)

由于無論手指個數(shù)多少，手掌大小均不會發(fā)生改變，故本文將手掌面積大小Spalm作為手勢歸一化的衡量標準，根據(jù)式(8)，確定手勢的縮放因子，通過映射采樣，將手勢大小按比例系數(shù)Rnorm歸一化為統(tǒng)一尺度。

Rnorm=Spalm/Snorm

(8)

根據(jù)式(7)，為了減少手臂產(chǎn)生的誤差，本文從手掌起始位置向下計算Lpalm個像素長度，定為手掌根部與前臂連接處如圖10所示。

圖10　手臂位置判斷

為減少計算量，對大小歸一化后的手勢圖像利用最大外接矩形提取ROI (Region of interest)感興區(qū)域，提取結果如圖11所示。

圖11　手勢歸一化結果

1.2特征提取

根據(jù)圖8分割出來的手指部分和多余手臂部分F，為了統(tǒng)計彎曲手指的長度，對F進行細化處理得到細化結果T，處理結果如圖12所示。

圖12　手勢細化結果

對細化后的整幅圖像進行檢索，跟蹤出每條骨骼細化結果，對每條獨立的骨骼運用特定的結構元素S，進行T2/2次形態(tài)學膨脹處理，并用原圖像與膨脹后結果的乘積作為后置候選結果Fingern，如式(9)所示，其中N為細化骨骼個數(shù)。恢復結果如圖13所示。

Fingern=F×[Tn⊕S(T2/2)]n=1,2,…,N

(9)

圖13　手指候選區(qū)域恢復結果

根據(jù)恢復出的手指候選區(qū)域結果，假設目標區(qū)域Fingern(x,y)的大小為M×N，對于二值圖像，用邏輯1表示目標部分，邏輯0表示背景部分。則每個候選區(qū)域的面積的計算公式如下，其中N為手指候選區(qū)域個數(shù)。

(10)

為了解決不同人手指粗細和手指面積的差異問題，本文在提取單一候選區(qū)域面積的同時，計算每個候選區(qū)域占整個手掌區(qū)域面積Spalm的比例RArean作為分類器的一項重要參數(shù)，公式如下：

(11)

(12)

其中，Ce和C分別代表鏈碼中方向值為偶數(shù)和奇數(shù)的數(shù)目。

為了克服周長的不魯棒性，本文使用每個候選區(qū)域中周長的平方和面積的比例作為分類器的第二個參數(shù)，公式如下：

(13)

根據(jù)解剖學研究表明，手指的長度與寬度存在一定的比例關系，并且手指長度一般大于手指寬度。本文將每個候選區(qū)域細化的骨骼長度Ln作為手指的長度，并將每個手指假設成一個長方向區(qū)域，故手指長度Ln與寬度Wn的比例RLWn可近似于如下公式：

(14)

本文將每個手指的長寬比RLWn作為分類器的第三個參數(shù)。

1.3分類器設計

支持向量機SVM是根據(jù)統(tǒng)計學理論提出的一種新的通用學習方法，它是建立在統(tǒng)計學理論和結構風險最小原理基礎上的，能較好地解決小樣本、非線性、高維數(shù)和局部極小點等實際問題。支持矢量為訓練集中一組特征子集，使得對特征子集的線性劃分等價于對整個數(shù)據(jù)集的分割。目前，SVM算法在模式識別、回歸估計、概率密度函數(shù)估計等方面都有應用，并且該算法在精度上表現(xiàn)在某些領域已經(jīng)超過傳統(tǒng)的學習算法，具有更好的學習性能[16]。故本文采用SVM分類器對三維空間下的手勢特征進行分類。

(15)

(16)

根據(jù)合理的核函數(shù)K(x,y)進行訓練可得到最優(yōu)的判別公式:

(17)

其中sgn()為符號函數(shù)，而b*是分類的賦值，可通過兩對支持向量求得。經(jīng)過反復試驗，根據(jù)式(18)本文選用徑向基核函數(shù)對訓練樣本進行分類，分類結果如圖14所示。

K(x,y)=exp(-γ‖x-y‖2)

(18)

(a) 正負樣本3維圖

(b) SVM分類器曲面圖14　SVM分類結果

圖14(a)中“?！睌?shù)據(jù)集為負樣本，“+”數(shù)據(jù)集為正樣本。由圖14(b)可以看出SVM分類器訓練出的分類面將正樣本完全包裹，將正負樣本基本分開。

2　實驗結果分析

2.1實驗數(shù)據(jù)介紹

本文定義0-5六種手勢，分別代表六種運動狀態(tài)，由于網(wǎng)絡上并沒有完全公開的手勢識別數(shù)據(jù)庫，故本文使用1920×1080P高清攝像頭對不同性別的358人的左右手進行分類采集，每個手勢左右手分別采集10張。其中，從258人中的每個手勢的左右手圖像中各拿出一張作為訓練集，訓練集大小為{6×2×1×258}，將剩下的圖片作為測試集，測試集大小為{6×2×9×258+6×2×10×100}。為增加識別難度，采集的數(shù)據(jù)包括左/右手，手心/手掌和對統(tǒng)一手勢下的不同手指的采集，有彎曲手指存在的手勢，采集數(shù)據(jù)庫如圖15所示。

手勢0　手勢1　手勢2　手勢3　手勢4　手勢5圖15　手勢數(shù)據(jù)樣本示例

2.2算法性能分析與比較

SIFT(Scale Invariant Feature Transform)算法是David G.Lowe提出的一種具有尺度不變特性的優(yōu)秀算法。通過提取特征點，并對特征點進行描述，最終把每張圖片變成特征向量的集合，該算法擁有對尺度，旋轉的不變性，并且對光照變化和幾何變化也有一定抗性。如圖16所示，其中(a)為訓練數(shù)據(jù)庫中手勢五通過SIFT算法檢測出的結果，“+”表示所檢測出的SIFT特征點，(b)為測試數(shù)據(jù)庫中手勢五通過SIFT算法檢測出的結果，(a)共檢測出了107個特征點，(b)檢測出115個特征點，連線表示兩幅圖像共有10個特征點匹配成功。

(a) 訓練數(shù)據(jù)庫圖像　(b) 測試數(shù)據(jù)庫圖像圖16　SIFT算法識別匹配結果

實驗數(shù)據(jù)在4G RAM、3.20GHz Intel CPU臺式機上進行，采用Matlab2012編程，對數(shù)字0-5六種手勢進行識別。分別采用本文提出的方法與SIFT特征點匹配方法[10]對2.1中的相同數(shù)據(jù)進行識別比較，識別率和識別速度結果如圖17、圖18所示。

圖17　手勢識別率比對結果

圖18　手勢識別時間比對結果

由圖17可以看出，本文提出的算法識別率遠遠高于SIFT特征點匹配法識別率。其中本算法平均識別率達到97.52%。而SIFT特征點匹配算法平均識別率只有83.87%。而在識別效率方面，圖18分別對比了兩種算法對不同手勢的識別速度，曲線展示了識別的平均時間、最大時間和最小時間。由圖18可以看到本文提出的算法在識別速度上要快于SFIT算法平均2 s左右。

實驗對每個手勢的誤識率FAR (False Acceptance Rate)和誤拒率FRR (False Rejection Rate) 進行統(tǒng)計，實驗結果如表1所示。由于SIFT算法匹配時需要對匹配點個數(shù)的閾值進行設定，故會出現(xiàn)與模板庫中0-5任何一個手勢數(shù)據(jù)均無法匹配的結果。

表1　手勢識別算法FAR與FRR比較

實驗統(tǒng)計結果表明，由于SIFT算法對手勢圖像進行特征點提取，并分析其周圍的紋理信息，通過控制閾值，實現(xiàn)對關鍵點的匹配，故其對較為復雜的手勢特征具有一定優(yōu)勢。但當特征點的拓撲分布或特征點周圍紋理改變時(如手指間隙改變或拍攝角度改變時) 識別率會大幅下降。并且由于提取特征時需要對數(shù)據(jù)庫中所有手勢提取的SIFT特征進行一一對比，故識別速度較慢。如圖19 (a)所示，由于手勢零的紋理特征并不明顯，故導致其與數(shù)據(jù)庫中的手勢零只有6個特征點匹配成功，而圖19(b)中手勢0與數(shù)據(jù)中的手勢4卻有8個特征點匹配成功。故識別結果發(fā)生錯誤。

圖19　SIFT算法識別錯誤圖片

本文的算法在這種情況下則不會受到影響。但是本文算法對膚色分割的穩(wěn)定性要求較高，并且對兩手指之間有粘連的靜態(tài)手勢識別效果并不理想。如圖20識別錯誤示例所示，識別錯誤原因是由于光照強度過大，即使經(jīng)過光照補償處理，其仍然受到膚色分割的影響，故識別錯誤。而SIFT算法是根據(jù)灰度圖像提取的特征點，并沒有進行膚色分割，故對于這種光照過強的圖像仍能進行識別。而圖21所示圖片，由于采集時食指和中指相距太近，分割出的手勢圖像兩手指粘連在一起，本文提出的算法會造成識別錯誤。

圖20　本文算法識別錯誤圖片1

圖21　本文算法識別錯誤圖片2

3　結　語

本文提出了一種新穎的基于形狀特征的靜態(tài)手勢識別算法，運用質心點漂移的方法確定手指方向，針對手勢分割圖像輪廓點的梯度方向和跨度確定手指的候選區(qū)域，結合形態(tài)學重建出手指形態(tài)，并選取恰當?shù)男螤钐卣鳎\用SVM分類器對其形狀特征進行分類。并且對比SIFT算法表明本算法識別率和時間均有顯著提高。本文的創(chuàng)新點在于：

(1) 采用形態(tài)學質心漂移的方法判斷手指的方向，并結合邊界輪廓梯度方向和邊界最小跨度判斷出手指的候選區(qū)域，減少了手臂和手掌部分的干擾。

(2) 選擇合理的形狀特征，不僅能完整地描述手指的形狀，而且減少了特征提取的復雜度。并運用SVM分類器對高維特征優(yōu)秀的訓練特性對靜態(tài)手勢進行識別。

[1] 關然,徐向民,羅雅愉，等．基于計算機視覺的手勢檢測識別技術 [J].計算機應用與軟件,2013,30(1):155-159,164.

[2] 武霞,張崎,徐艷旭,等.手勢識別研究發(fā)展現(xiàn)狀綜述[J].電子科技，2013，26(6)：171-174.

[3] Barkoky A,Charkari N M.Static hand gesture recognition of Persian sign numbers using thinning method[C]//2011 International Conference on Multimedia Technology,2011,6548-6551.

[4] 翁漢良,戰(zhàn)萌偉.基于視覺的多特征手勢識別[J].計算機工程與科學，2012，34(2)：123-127.

[5] Song Y,Demirdjian D,Davis R.Continuous body and hand gesture recognition for natural human-computer interaction [J].ACM Transactions on Interactive Intelligent Systems,2012,2(1):5.

[6] 楊波,宋曉娜,馮志全,等.復雜背景下基于空間分布特征的手勢識別算法[J] .計算機輔助設計與圖形學學報,2010,22(10):1841-1848.

[7] 王先軍,白國振,楊勇明,等.復雜背景下BP神經(jīng)網(wǎng)絡的手勢識別方法[J].計算機應用與軟件，2013,30(3):247-249,267.

[8] 陳皓,路海明.基于深度圖像的手勢識別綜述[J].內蒙古大學學報,2014,45(1):105-111.

[9] 李吉,顧德,劉飛,等.基于Kinect深度信息的手指及手部跟蹤研究[J].計算機應用與軟件,2015,32(3)：79-83.

[10] Deval G Patel.Point Pattern Matching Algorithm for Recognition of 36 ASL Gestures [J].International Journal of Science and Modern Engineering,2013,7(1):24-28.

[11] 許杏.基于隱馬爾科夫模型手勢識別研究[D].廣東:華南理工大學,2011.

[12] 荊雷,馬文君,常丹華,等.基于動態(tài)時間規(guī)整的手勢加速信號識別[J].傳感技術學報,2012,25(1):72-76.

[13] 林水強,吳亞東，陳永輝,等.基于幾何特征的手勢識別方法[J].計算機工程與設計,2014,35(2):636-640.

[14] Padam Priyal S,Prabin Kumar Bora.A robust static hand gesture recognition system using geometry based normalizations and Krawtchouk moments [J].Pattern Recognition,2013,46(8):2202-2219.

[15] 王凱,于鴻洋，張萍.基于Adaboost算法和光流匹配的實時手勢識別[J].微電子學與計算機,2012,29(4):138-141.

[16] 張秋余,王道東，張墨逸.基于特征包支持向量機的手勢識別[J].計算機應用,2012,32(12):3392-3396.

STATIC GESTURE RECOGNITION BASED ON ADAPTIVE SEGMENTATION AND DISCRIMINATION OF FINGERS

Cui JialiXie WeiWang YidingJia Ruiming

(CollegeofInformationEngineering,NorthChinaUniversityofTechnology,Beijing100144,China)

Since dynamic hand gestures can be regarded as the fusion of multi-frame static gestures,thus static gesture study becomes the key of solving gesture recognition problem.Aiming at static hand gestures,this paper puts forward a gesture recognition method which is based on adaptive segmentation and discrimination of fingers.First,the method segments hand gesture image using skin colour clustering feature of YCbCr colour space,and adopts the idea of centroid drift for finger direction determination and makes rotation normalisation processing.Secondly,it determines candidate area of fingers aimed at the gradient direction and span of gestures contour points,and restores in combination with morphological method the binary form of a single finger.Finally,it selects appropriate shape features and uses support vector machine (SVM) classifier to classify its shape features.Experimental results show that the method has promising recognition rate.

Gesture recognitionFinger restorationFinger discriminationFinger segmentationShape feature

2015-04-08。北京市教委面上項目(KM201510009005)。崔家禮，講師，主研領域：圖像處理與智能識別。解威，碩士。王一丁，教授。賈瑞明，講師。

TP391.41

A

10.3969/j.issn.1000-386x.2016.10.040