楊述斌，潘 偉，蔣宗霖

（1.武漢工程大學 電氣信息學院，武漢430205；2.智能機器人湖北省重點實驗室，武漢430205）

手勢作為人們常用的表達方式之一， 具有自然、簡單、方便、不受地域和文化限制的特點，使得手勢識別成為人機交互現階段的研究熱點，手勢識別可分為動態(tài)手勢識別與靜態(tài)手勢識別，動態(tài)手勢識別主要運用在體感游戲、虛擬現實等操作者豐富度高的領域，靜態(tài)手勢識別主要運用多媒體輔助教學、智能家居等操作者豐富度低的領域，本文手勢識別研究運用在多媒體播放器的控制，因此本文主要研究靜態(tài)手勢識別。

針對目前手勢在多角度因素下識別率不高，實時性較差的問題， 學者們提出了不同的解決辦法。文獻[1]提出融合改進指尖點和Hu 矩的手勢識別方法，通過改進曲率的指尖檢測方法進行改進，增強指尖點特征提取的魯棒性， 然后融合Hu 不變矩和指尖點特征，提高手勢模型的全局描述性，該方法雖然識別率較高但是計算量大，耗時長。 文獻[2]提出了基于HOG 特征與支持向量機的手勢識別方法，通過提取對于手勢旋轉具有一定魯棒性的HOG特征，然后通過支持向量機進行分類識別，由于提取單一特征，使得識別率提升并不明顯。 文獻[3]提出了基于多特征融合與支持向量機的手勢識別，首先提取手勢圖像HOG 特征， 然后對手勢全局提取Hu 矩特征，相比于單獨提取HOG 特征的識別率得到了提高，但只能解決小幅度手勢旋轉導致識別率偏低的問題。

針對上述問題， 本文給出了一種融合HOG 特征和手部多特征的手勢識別方法。 首先采用能有效抵抗噪聲干擾的基于YCrCb 顏色空間的膚色建模和Otsu 的手勢分割方法完成手勢分割，再將分割后圖像進行尺度歸一化與形態(tài)學處理后使用具有抗噪強、定位高、單次響應的Canny 算法提取邊緣輪廓信息，然后對得到的二值化圖像、邊緣輪廓圖分別提取能很好表示手勢輪廓以及具有良好幾何不變性的HOG 特征與具有旋轉不變性的手部多特征，將得到的特征歸一化處理后進行融合，得到新的特征向量， 最后通過支持向量機進行分類識別，本文將分別從預處理、特征提取、特征融合、分類識別等方面加以介紹，手勢識別過程如圖1 所示。

圖1 手勢識別過程Fig.1 Diagram of gesture recognition process

1 預處理

預處理的目的是消除圖像中的干擾因素，增強圖像的有用信息，最大限度地簡化數據，從而為后續(xù)特征提取提供良好的可靠性， 本文通過手勢分割、 形態(tài)學處理以及輪廓提取來消除干擾信息，增強有用信息，通過尺度歸一化來簡化數據。

1.1 手勢分割

膚色是人手最直觀、最顯著的特征，也是最常用的手勢分割方法[4]，膚色分割常用的顏色空間有RGB 色彩空間、HSV 色彩空間、YCrCb 色彩空間，文獻[5-7]通過實驗對比得出HSV 與YCrCb 顏色空間中膚色的分布更為緊密，對光照強度不敏感，同時RGB 顏色空間轉換到YCrCb 顏色空間相對簡單，同時提出了基于YCrCb 顏色空間的膚色建模和Otsu的手勢分割， 本文將該方法應用于手勢分割中，使其在不同背景下具有更好的分割效果，從而為后續(xù)的手勢識別與分類提供更好的準確性與魯棒性。

1.2 歸一化與形態(tài)學處理

為了保證后續(xù)特征提取的一致性，對分割后圖像進行尺度歸一化，本文統(tǒng)一將分割得到的圖像歸一化到像素大小，然后將得到的二值化圖像進行形態(tài)學處理，即膨脹與腐蝕[8]，通過形態(tài)學處理后能消除手勢二值化圖像中的噪點，使手勢邊緣處變得平緩，使圖像變得更加飽滿與完整，為后續(xù)手部輪廓提取提供更好的處理效果。

1.3 輪廓提取

常用的輪廓提取方法為Sobel 算子、Laplacian算子、Canny 算子。相比于Sobel 算子和Laplacian 算子，Canny 算子滿足準確性、定位高、單次響應三大評價邊緣提取好壞的標準，本文采用Canny 算法提取邊緣輪廓信息，Canny 方法不容易受噪聲干擾，又能很好地保證邊緣檢測的效果。 經過手勢分割和輪廓提取后，可以得到手勢圖像的二值化圖像、邊緣輪廓圖分別如圖2、圖3 所示，使用阿拉伯數字1～5代表本文研究的5 種常用靜態(tài)手勢類型。 在這些圖像中包含著大量代表手勢的特征和參數，能夠在此基礎上對手勢特征進行提取。

2 特征提取

特征選取的合適與否直接關系到手勢分類的效果與計算機處理速度， 本文選擇HOG 特征和手部多特征， 然后構成融合特征作為手勢識別的依據，來提高手勢識別的準確率與魯棒性。

圖2 五種手勢二值化圖Fig.2 Five gesture binaries

圖3 五種手勢邊緣輪廓圖Fig.3 Outline of five gestures

2.1 HOG 特征提取與降維

HOG 特征由法國研究人員Dalal 在2005 年的CVPR 上提出，在行人檢測中取得了極大成功。HOG特征在光照變化和手勢旋轉下具有較好的魯棒性，HOG 特征提取過程如圖4 所示。

圖4 HOG 特征提取過程Fig.4 HOG feature extraction process

HOG 特征向量的維數W 由圖像的尺寸，cell 大小，每個cell 的梯度方向的bin 數以及block 大小和移動步長決定。 其計算公式如式（1）所示：

可計算本文HOG 特征維數為9×4×7×7=1764維特征向量。

考慮到向量維數過高以及數據間的冗余，為了提高圖像處理的效率， 對提取到的HOG 特征進行PCA 降維處理，PCA[9]算法的核心思想是通過一個特殊的特征向量矩陣Z， 將高維n 維特征映射到低維k 維特征上，具體步驟如下：

假設有m 個樣本， 對應特征向量為xi，xi的維數為n， 則由向量構成的樣本可表示為一個n 行m列的矩陣X：

對矩陣C 求特征值與對應的特征向量，然后將特征向量按對應特征值大小從上到下按行排列成矩陣，取前k 行組成矩陣P，則Y=PX 即為降維到k維后的矩陣，這樣既降低了特征的維數，消除了數據的冗余，也能較好地保留特征信息的完整度。 考慮到特征信息的完整度，將1764 維HOG 特征降至

100 維。

2.2 手部特征提取

提出了一種能較好描述手勢輪廓特征的模型，如式（5）所示：

式中：n 為凸包點數；m 為凸包缺陷數；L 為圓形度，這些特征均勻良好的旋轉不變性。 采用凸包檢測法來計算n、m，凸包算法主要通過排序、掃描來實現，本文采用一種快速凸包算法[10]，具體步驟如下：

（1）遍歷輪廓上的每個點，通過坐標判斷求出兩個極端點A、B，通過兩點之間的連線來劃分上凸包與下凸包；

（2）為剔除干擾點，分別對上凸包與下凸包內的點求凸包，再進行遞歸；

（3）遞歸中，找到距離直線AB 最遠的點C，做線段AC 和BC，再將A、C 作為極端點進行遞歸，依次循環(huán)，直到無法找到兩極端點對應的凸包，則最遠點即為凸包頂點，凸包檢測如圖5 所示；

圖5 凸包檢測Fig.5 Convex hull detection

（4）求出手部輪廓的凸包后，如圖6 所示，起始點Ai、終止點Ai+1、最遠點Bi、i∈［1，6］所形成區(qū)域即為凸包缺陷。

圖6 凸包缺陷檢測Fig.6 Convex hull defect detection

圓形度L 用來描述物體邊界的復雜程度[11]，其計算公式為

式中：S 為目標圖像的面積；C 為目標圖像的周長。其中面積S 可由Matlab2016b 中函數bwarea（）求出，周長C 可由Matlab2016 函數bwperim（）求出，經過實驗得出5 種手勢類型的圓形度，如表1 所示。

表1 五種靜態(tài)手勢圓形度Tab.1 Five static gesture roundness

3 特征歸一化與融合

特征融合的方法思想來源于早期的信息融合領域[12]，目前學術界將信息融合層次劃分為決策層、數據層、特征層。 特征層融合對特征信息進行綜合和處理，相比于數據層融合，特征層融合保留了必要的信息，降低了原始數據的冗余性，同時又比決策層有更多的數據信息和適中的數據維數。

3.1 歸一化

由于HOG 特征與手部多特征的物理意義不同，取值范圍相差大，容易造成數據離散程度增加，需要對兩類特征的每個特征分量進行歸一化處理，從而使兩種特征具有可比性，手勢圖像特征歸一化前的部分數據如表2 所示， 本文選擇離差標準化[3]來進行歸一化處理。 具體步驟如下：

假設特征提取得到k 維的特征向量N=［n1，n2，…，nk］，有M 個圖像樣本，則第i 個圖像樣本的特征向量N=［ni1，ni2， …，nik］， 對每一列向量N=［nj1，nj2，…，njm］，計算最小值minj 和最大值maxj，得到的歸一化nij=（nij-minj）/（maxj-minj）， 手勢圖像特征歸一化后的部分數據如表3 所示。

表2 歸一化前部分手勢圖像特征數據Tab.2 Part of the gesture image feature data before normalization

表3 歸一化后部分手勢圖像特征數據Tab.3 After normalization，part of gesture image feature data

3.2 特征融合

特征融合方法一般采用串行融合或者并行融合[13]，為了減小計算量、提高系統(tǒng)分類識別效率，本文采用串行融合， 設圖像特征提取到的HOG 特征向量為α，手部多特征為β，則兩種特征經過串行融合得到最終分類特征M=（α，β）。

若提取到的HOG 特征向量維度為n 維則有α＝［h1，h2，…，hn］，手部多特征為m 維則有β＝［l1，l2，…，lm］， 由上述方法可以得到m+n 維的融合特征M=［h1，h2…h(huán)n，l1，l2…lm］，即為最終分類特征。

HOG 和手部多特征參數與維數如表4 所示。

表4 兩類圖像特征Tab.4 Two types of image features

則將圖像的100 維HOG 特征與3 維手部多特征按上述方法串行融合[14]即可得到103 維融合特征向量M。

4 SVM 分類器

SVM 分類器基于結構風險最小化原則，具有良好的泛化能力，同時以統(tǒng)計學理論為基礎，針對有限樣本分類情況，SVM 具有明顯的優(yōu)勢， 本文選用SVM 作為分類器。 SVM 分類器分類識別過程如下：①對訓練樣本的五類手勢標注標簽；②對預處理后得到的手勢圖像分別提取HOG 特征與手部多特征后融合形成最終的分類特征；③將融合后形成的最終分類特征與對應標簽作為訓練集輸入到支持向量機進行訓練，使用一對一（one-versus-one，簡稱OVO SVMS）多類分類方法；④將測試樣本經過預處理、特征提取與特征融合后輸入訓練好的分類器，最終輸出與手勢對應的標簽。

5 實驗結果與分析

5.1 實驗準備

實驗環(huán)境軟硬件包括Windows7 系統(tǒng)，Intel（R）Core （TM）i5-4260U，4 GB 內存，128 G 固態(tài)硬盤，采用分辨率640480 的普通攝像頭作為采集設備，使用Matlab2016b 作為圖像處理軟件。

首先建立手勢訓練集與測試集，本文對圖7 所示的5 種常用手勢進行識別，分別定義為手勢1 到手勢5， 為了驗證算法在光線與多角度因素下的魯棒性，每個手勢在不同角度下采集600 張，隨機選取300 張用于訓練SVM 模型， 另外300 張用于測試，共采集3000 張手勢圖像，其中1500 張用于訓練集，1500 張用于測試集。

圖7 五種常用手勢圖像Fig.7 Five commonly used gesture images

本文中的手勢圖像經過歸一化、二值化以及形態(tài)學等預處理后保存為訓練集與測試集，處理后的部分不同角度下的樣本圖如圖8 所示。

5.2 實驗結果與分析

圖8 五種手勢部分不同角度樣本圖Fig.8 Sample pictures of five gestures from different angles

為了驗證本次實驗的魯棒性，用實驗訓練集與測試集對單獨提取HOG 特征的手勢識別以及融合HOG 特征與Hu 特征的手勢識別進行實驗對比，三種算法性能對比如表5 所示，三種算法平均識別率對比圖如圖9 所示，部分預測結果可視化如圖10 所示。由表5 與圖9 可以看出，融合了HOG 特征與手部多特征的平均識別率達到了96%，明顯高于單獨提取HOG 特征的手勢識別， 說明提取手部多特征并與HOG特征融合能夠一定程度上彌補單獨提取HOG 特征的不足，也說明基于單一特征的手勢識別方法不能保證手勢識別的準確性。 相比于融合HOG 特征與Hu 不變矩，本文方法識別率更高，說明本文方法在不同角度因素下有良好的魯棒性，同時本文方法相比于前兩種方法運行時間最短，具有更好的實時性。

表5 三種算法性能對比Tab.5 Performance comparison of three algorithms

圖9 三種方法平均識別率對比圖Fig.9 Comparison graph of the average recognition rate of the three methods

圖10 預測結果可視化Fig.10 Visualization of prediction results

6 結語

本文采用特征融合的方法將HOG 特征與具有旋轉不變性的手部多特征進行融合形成新特征，最后采用SVM 分類器進行分類識別。 實驗表明在多角度因素下，該方法具有良好的魯棒性、實時性與準確性。