范文兵+朱連杰

摘 要： 針對手勢識別的準(zhǔn)確率和識別速度等問題，提出一種基于膚色特征提取的手勢檢測識別方法。采用OpenCV自有的Haar分類器自動提取面部區(qū)域并建立膚色模型，再以膚色模型檢測膚色點集合，去除與面部區(qū)域重合點集獲得手部輪廓，通過綜合計算掌心位置，手掌輪廓凸包和凸性缺陷實現(xiàn)手勢識別。經(jīng)驗證，該方法能夠穩(wěn)定地定位手掌區(qū)域，識別準(zhǔn)確度高并能夠在保證識別率的基礎(chǔ)上實現(xiàn)對手勢的快速識別。

關(guān)鍵詞： Haar特征； 膚色模型； OpenCV； 凸性缺陷； 手勢識別

中圖分類號： TN911.23?34； TP391.4 文獻標(biāo)識碼： A 文章編號： 1004?373X（2017）18?0085?04

Research on hand gesture detection and recognition method based on

skin color feature extraction

FAN Wenbing， ZHU Lianjie

（School of Information Engineering， Zhengzhou University， Zhengzhou 450001， China）

Abstract： Aiming at the low recognition accuracy and slow recognition speed for hand gesture， a hand gesture detection and recognition method based on skin color feature extraction is proposed. The Haar classifier owned by OpenCV itself is used to extract face regions automatically and establish skin color model； and the skin color model is adopted to detect the point sets of skin color， in which the point set overlapped with face area is removed to acquire the hand contour； then the location of palm center is calculated comprehensively to detect the convex hull and convexity defect of palm contour to recognize the hand gesture. The verification results show that the method can locate the palm area accurately and realize fast recognition for hand gesture while ensuring the recognition rate， and its recognition accuracy is high.

Keywords： Haar?like feature； skin color model； OpenCV； convexity defect； hand gesture recognition

0 引 言

基于生物特征的身份認(rèn)證方法和系統(tǒng)的研究一向都是圖像識別技術(shù)和模式識別領(lǐng)域的研究熱點[1?2]，手勢圖像識別在人機交互中的應(yīng)用越來越廣泛，出現(xiàn)了各種各樣的識別方法。手勢作為人機交互（Human Computer Interaction，HCI）接口的一種，具有以人為中心，簡單、高效、人性化的特點，是目前智能識別領(lǐng)域人機交互的重要手段之一。常見識別方法有很多，Zhu等人利用膚色、運動數(shù)據(jù)結(jié)合手勢邊框?qū)崿F(xiàn)了對多種定義手形的識別。Fang等人通過膚色和運動數(shù)據(jù)對手勢進行分割，再利用手部區(qū)域空間尺度及寬高比來識別手勢。Rautaray等人檢測手勢部分采用LK光流法，K最近鄰算法實現(xiàn)手勢識別。Brethes等人使用分水嶺算法，手勢的分割采用膚色信息，再將顏色塊信息與形狀信息相結(jié)合來進行手勢識別。Li等人提出的WEGM算法識別率高達97.08%。Hsieh，Song等人選取不同手部特征進行訓(xùn)練，訓(xùn)練出的分類器用來對不同手勢進行識別，準(zhǔn)確率分別達到94%，75%。此外，手勢檢測識別的研究方法還有利用深度圖信息、GMM建模等來對手勢區(qū)域進行分割，再通過骨架數(shù)據(jù)、熵數(shù)據(jù)、3D建模等方式來實現(xiàn)手勢的識別[3?5]。

上述方法都有各自獨特的優(yōu)勢，例如，識別準(zhǔn)確率高、可識別手勢種類多等，但在人機交互場景中的應(yīng)用不夠完善。用于人機交互的手勢識別系統(tǒng)，不僅需要較高的識別準(zhǔn)確率，還對實時性與系統(tǒng)的魯棒性有嚴(yán)格要求。手形的提取主要是為了將手掌從龐大背景中提取出來，由于背景復(fù)雜，采用灰度圖像二值化的方法無法取得好的效果。雖然采用顏色手套的解決方案能取得較好效果，但測試設(shè)備復(fù)雜、過程繁瑣。因此，本文提出了一種Haar模型結(jié)合膚色特征來提取手掌輪廓的方式。實驗測試表明，該方法在通常情況下可取得理想效果，具有較高的實用性和準(zhǔn)確性。

1 手勢識別系統(tǒng)框架

實驗提出一種基于膚色特征提取的手勢檢測識別系統(tǒng)，如圖1所示。系統(tǒng)獲取到視頻流輸入后，首先基于Haar?like特征識別面部區(qū)域，遍歷面部區(qū)域的所有像素提取膚色信息并據(jù)此建立膚色模型，再依據(jù)膚色模型檢測手部區(qū)域。去除面部區(qū)域和背景噪聲的干擾后，即可進行靜態(tài)手勢的識別。其中，多邊形凸包集主要繪制手勢凸點；多邊形凸性缺陷集主要繪制凹陷點；待凸點與凹陷點繪制完成后，進入手勢形態(tài)識別，最后輸出結(jié)果。endprint

實驗重點在于通過面部識別提取人體膚色信息，不需要手動選取手部區(qū)域搜索框、對大量手部和非手部樣本提取Haar?like特征或是人為設(shè)定膚色信息區(qū)間。只有在系統(tǒng)檢測不到面部區(qū)域時，才調(diào)用預(yù)置的膚色信息進行識別，保障系統(tǒng)在多種情況下的可用性[6?7]。

2 手部區(qū)域自動檢測與定位

2.1 基于Haar?like特征定位面部區(qū)域

基于人面部的Haar?like特征進行人臉檢測，定位出現(xiàn)在攝像頭中的面部區(qū)域。人臉檢測器是由Paul Viola和Miachael Jones等人通過Adaboost算法構(gòu)造，檢測效果良好。在此基礎(chǔ)上Rainer Lienhart和JochenMaydt又用Haar?like特征加以擴展，其原理為將分類能力弱的分類器疊加（Boost），形成Adaboost強分裂器，若給定訓(xùn)練樣本（[a1]，[b1]），（[a2]，[b2]），…，（[an]，[bn]），其中第i個樣本表示為[ai]，樣本判定為人臉時，則[bi]=1，樣本不是人臉，則[bi]=0。Haar?like特征中的邊界，線條，中心的特征表示為：

[featurej=i∈（1，2，…，N）?i?RectSum（ri）] （1）

式中：[?i]為矩形權(quán)，[RectSum（ri）]為矩形[ri]灰度積分；N為組成[featurej]的矩形個數(shù)。通過計算每個特征的弱分類器權(quán)重誤差，將誤差最小的分類器疊加入強分類器最終得到級聯(lián)強分類器，如圖2所示。

在級聯(lián)強分類器各個節(jié)點設(shè)定閾值，使得大部分人臉樣本通過，不通過的基本為非人臉。排列越靠后節(jié)點越復(fù)雜，弱分離器越多，可以保證面部區(qū)域的高識別率。

2.2 基于膚色模型定位手部區(qū)域

利用膚色來檢測手部是手部檢測最直接的方法。皮膚顏色穩(wěn)定，不易受縮放、平移和旋轉(zhuǎn)的影響，且對圖像的尺寸、拍攝方向和角度的依賴性較小，因此實驗采用的手形檢測方法為膚色檢測[8]。

顏色空間有多種表示方法，較常用的有RGB顏色空間和HSV顏色空間，以色調(diào)空間來區(qū)分膚色信息比亮度空間更具優(yōu)勢，而RGB顏色空間包含亮度信息居多。根據(jù)Enamin D. Zarit等人對膚色在彩色空間分布的研究及在檢測中性能的分析，本文選用HSV顏色空間進行手部區(qū)域檢測。為了簡化檢測流程，本文在HSV顏色空間的3個顏色通道均設(shè)定膚色閾值范圍，如果檢測點在H，S，V通道上的取值都在閾值范圍內(nèi)，證明檢測點是膚色點。閾值[φ]設(shè)定條件如下：

[0

式中，檢測點在色彩空間的取值分別由H，S和V表示。取值滿足上述閾值的檢測點判斷為膚色，反之則不是膚色。

[imagedate（m，n）=膚色， data（m，n）∈φ非膚色， data（m，n）?φ] （3）

式中：imagedata（m，n）代表圖像檢測點；data（m，n）代表檢測點在HSV空間里的顏色取值。

在灰度二值化圖像中，由于面部區(qū)域和手部區(qū)域均判定為膚色，所以同時存在。由Haar?like特征獲取了人臉區(qū)像素點集，由膚色檢測同時獲取了人臉區(qū)像素點集和手部區(qū)像素點集，去除面部區(qū)域后可獲得手部區(qū)域。

3 手勢特征提取與識別

常見的靜態(tài)手勢特征有質(zhì)心、周長、手指分布等，手的輪廓可以用不間斷的點來表示，在手掌輪廓不易提取時，或者為了提高計算效率，也可以通過計算手掌輪廓特征作為手勢特征。實驗首次提出了綜合計算掌心，手掌輪廓凸性缺陷和凸性包絡(luò)來識別手勢。

3.1 計算并提取掌心位置

確定掌心位置時，根據(jù)人手的生理構(gòu)造，掌心基本為重心位置，然而直接由手掌幾何中心獲取掌心無法排除手指對幾何中心的影響。為了避免手指對手掌質(zhì)心計算帶來的誤差，實驗采用自重權(quán)數(shù)計算手掌質(zhì)心，見圖3。

由圖3知，手掌五指張開水平設(shè)定分割線后，分割線左右檢測點膚色值變化次數(shù)不同，手掌處變化2次，到達手指指尖處分別變化4，6，8，10次。設(shè)定6，8，10次變化區(qū)為零像素區(qū)，由OpenCV自帶函數(shù)cvFindContour重新獲取手形區(qū)域。設(shè)4次變化區(qū)自重權(quán)數(shù)為[13，]2次變化區(qū)自重權(quán)數(shù)為[23，]再通過手掌幾何中心來計算手掌質(zhì)心，公式如下：

[ax=w1?i=1n1x1in1+w2?i=1n2x2in2ay=w1?i=1n1y1in1+w2?i=1n2y2in2] （4）

式中：ax為手掌質(zhì)心橫向坐標(biāo)；ay為手掌質(zhì)心縱向坐標(biāo)；自重權(quán)數(shù)[w1]為[13；]4次變化區(qū)橫向坐標(biāo)用[x1i]表示；4次變化區(qū)縱向坐標(biāo)用[y1i]表示；自重權(quán)數(shù)[w2]為[23，]2次變化區(qū)橫向坐標(biāo)用[x2i]表示；2次變化區(qū)縱向坐標(biāo)用[y2i]表示；（ax，ay）代表手掌質(zhì)心橫、縱坐標(biāo)。手掌質(zhì)心獲取過程如圖4所示。

圖4（a）為手掌圖示，圖4（b）為膚色值變化多于四指區(qū)域，圖4（c）為根據(jù)OpenCV函數(shù)求得手掌質(zhì)心處。

3.2 手形輪廓凸包與凸性缺陷檢測

為了確定手部區(qū)域形狀，需要找到手部區(qū)域的輪廓，獲取手形輪廓凸包點集合與凸性凹陷點集合，利用凸包點集與凸性凹陷點集和掌心點之間的幾何關(guān)系就可以實現(xiàn)手勢數(shù)字的識別。在OpenCV庫函數(shù)中有凸包與凸性凹陷集合的求解方法，但方法粗糙，抗干擾能力差。本文引入Graham Scan算法來實現(xiàn)手形輪廓的凸包與凸性缺陷檢測。算法基本理論為：平面選取A點，引出射線AM，設(shè)定一個單位長度和單位角度，以逆時針方向為正方向。平面任意點C都可被特定序數(shù)[ρ，θ][0≤θ≤2]確定，[ρ]代表AC長度，[θ]代表角CAM。由此定義一個坐標(biāo)系，點A為坐標(biāo)極點，線AM為坐標(biāo)極軸。[ρ]代表C點的坐標(biāo)極徑，[θ]代表C點的坐標(biāo)極角，A點極坐標(biāo)就是特定序數(shù)[ρ，θ]。極坐標(biāo)系中，定點A即原點O，射線AM即橫坐標(biāo)正半軸，以此逆時針旋轉(zhuǎn)90°為縱坐標(biāo)正半軸。極坐標(biāo)系中任一點[ρ，θ]轉(zhuǎn)化為直角坐標(biāo)（x，y）方式如下：

[x=ρcosθy=ρsinθ] （5）

運用Graham Scan算法對手形區(qū)域進行凸包檢測可以獲取手形輪廓圖的凸包，凸包曲線與手掌之間形成的空隙區(qū)域即為凸性缺陷區(qū)如圖5所示（圖示紫色虛線代表手形輪廓的凸包）。手形輪廓凸包檢測完成后，為了進一步識別更精確的手勢形態(tài)，還需要進行凸性缺陷檢測。

檢測凸性缺陷從點[p1]開始到點[p2]結(jié)束，[p3]代表凸包區(qū)b的缺陷最深點（手掌邊緣上距凸包輪廓最遠點），a～f六條線段定義6個凸性缺陷深度，d線最長，因此點[p4]代表手形凸性缺陷最深處。

4 實驗結(jié)果與分析

實驗在VS2013集成開發(fā)環(huán)境下，基于OpenCV視覺庫用C++語言進行開發(fā)，測試圖像來源為普通數(shù)字視頻攝像頭采集，使用計算機為普通桌面PC機，采用Intel[?]Core i5?4590 3.30 GHz處理器，32位Windows 10操作系統(tǒng)，攝像頭采用普通數(shù)字視頻攝像頭，為了驗證本框架的穩(wěn)定性和高效性[9?10]，驗證了0～5六種數(shù)字手勢。選取8名測試人員，在實驗室環(huán)境下，打開攝像頭進行實時測試。實驗對象面對攝像頭，變換手勢，驗證系統(tǒng)的識別精度。圖6展示了測試過程中，系統(tǒng)的部分手勢識別結(jié)果。

部分手勢測試結(jié)果如表1 所示。由表1可知，本框架與基于TLD和DTW的動態(tài)手勢跟蹤識別算法相比識別精度相近，都達到了95.8%以上，具有較高的識別率。結(jié)果與Zhou等人實驗相比，識別速度分別是其所使用的兩種方法的5倍和45倍，在系統(tǒng)的實時測試中，經(jīng)計算，每幀圖像處理時間約為82.71 ms，速率范圍為11～14 f/s，顯示系統(tǒng)具有良好的實時性、穩(wěn)定性和很高的識別精度。

5 結(jié) 論

本文提出一種基于膚色特征提取的手勢檢測識別方法。通過人臉檢測和定位獲取面部區(qū)域，提取面部區(qū)域的人體膚色特征并建立膚色模型，再以膚色模型檢測膚色點集合，去除與面部區(qū)域重合點后獲得手部區(qū)域。即通過攝像頭實時提取目標(biāo)人體的膚色信息建立膚色模型，保證了識別準(zhǔn)確率和系統(tǒng)實時性。后續(xù)將對動態(tài)手勢跟蹤進行研究，在此基礎(chǔ)上實現(xiàn)多種動態(tài)手勢的識別。

參考文獻

[1] 萬劍鋒，黎洪松.基于圖像識別的生產(chǎn)線零件分揀系統(tǒng)[J].現(xiàn)代電子技術(shù)，2016，39（12）：62?65.

[2] 羅偉，馮亮，史桐林，等.基于形態(tài)學(xué)處理與模式識別的手部圖像分割[J].現(xiàn)代電子技術(shù)，2015，38（12）：80?82.

[3] 季宇.基于特征提取的圖像相似度研究[J].信息系統(tǒng)工程，2016（1）：110.

[4] 杜堃，譚臺哲.復(fù)雜環(huán)境下通用的手勢識別方法[J].計算機應(yīng)用，2016（7）：1965?1970.

[5] 黃孝平.基于體繪制思維的人臉識別算法優(yōu)化研究[J].現(xiàn)代電子技術(shù)，2015，38（24）：19?22.

[6] 余超，關(guān)勝曉.基于TLD和DTW的動態(tài)手勢跟蹤識別[J].計算機系統(tǒng)應(yīng)用，2015（10）：148?154.

[7] 張佳佳，王賀，劉宇，等.SVD與SVM疊加算法在玻璃溫度表圖像識別中的應(yīng)用[J].電子測量技術(shù)，2015（1）：47?50.

[8] 劉祥樓，楊龍，張明，等.基于膚色的眼睛輪廓自動提取新方法[J].現(xiàn)代電子技術(shù)，2014，37（14）：125?127.

[9] 張家田，許凱，嚴(yán)正國.基于空中運動/手勢控制接口的空中鼠標(biāo)設(shè)計[J].現(xiàn)代電子技術(shù)，2016，39（6）：143?146.

[10] 劉鑫辰，傅慧源，馬華東.基于RGB?D攝像頭的實時手指跟蹤與手勢識別[J].計算機科學(xué)，2014（10）：50?52.endprint