網(wǎng)絡(luò)出版地址：http://www.cnki.net/kcms/detail/23.1538.tp.20150604.0838.001.html

基于空間金字塔特征包的手勢識別算法

余思泉1，曹江濤1，李平1，姬曉飛2

(1.遼寧石油化工大學 信息與控制工程學院，遼寧 撫順 113001；2.沈陽航空航天大學 自動化學院，遼寧 沈陽 110136)

摘要：為了解決基于尺度不變特征變換的特征包(BoF-SIFT)算法在描述手勢圖像特征時對特征點分布情況無法確定的問題，提出了空間金字塔特征包算法提取手勢圖像特征。該算法通過構(gòu)造圖像金字塔改善了傳統(tǒng)的BoF-SIFT算法，生成的描述子能有效表征手勢圖像的局部特征和全局特征，并能表示圖像特征點的分布特性。采用直方圖相交核支持向量機進行手勢識別。在標準數(shù)據(jù)庫上的測試表明，該算法對于10種手語得到了92.92%的正確識別率，驗證了算法的有效性。

關(guān)鍵詞：手勢識別；手勢圖像；尺度不變特征變換；空間金字塔；特征包；直方圖相交核；支持向量機

DOI:10.3969/j.issn.1673-4785.201405054

中圖分類號：TP319 文獻標志碼：A

收稿日期：2014-05-26. 網(wǎng)絡(luò)出版日期：2015-06-04.

基金項目：國家自然科學基金資助項目(61103123).

作者簡介：

中文引用格式：余思泉，曹江濤，李平，等. 基于空間金字塔特征包的手勢識別算法[J]. 智能系統(tǒng)學報, 2015, 10(3): 429-435.

英文引用格式：YU Siquan, CAO Jiangtao, LI Ping, et al. Hand gesture recognition based on the spatial pyramid bag of features[J]. CAAI Transactions on Intelligent Systems, 2015, 10(3): 429-435.

Hand gesture recognition based on the spatial pyramid bag of features

YU Siquan1, CAO Jiangtao1, LI Ping1, JI Xiaofei2

(1. School of Information and Control Engineering, Liaoning Shihua University, Fushun 113001, China; 2. School of Automation, Shenyang Aerospace University, Shenyang 110136, China)

Abstract：A novel algorithm based on the spatial pyramid bag of features is proposed to describe the hand image. It is proposed in order to solve the problem that the distribution of feature points cannot be ascertained when using the hand gesture descriptor based on bag of feature of scale invariant feature transform (BoF-SIFT). The capability of the BoF-SIFT can be improved by generating image spatial pyramid. The descriptor can effectively represent the posture by combining the global features and local features of the gesture image, as well as the distribution character of image feature points. Finally, the hand posture recognition is achieved by using the histogram intersection kernel support vector machine (SVM). The experiment on standard database demonstrates the average recognition rate can reach 92.92% for 10 kinds of gestures recognition, verifying the efficiency and effectiveness of the proposed algorithm.

Keywords：hand gesture recognition; hand gesture image; scale invariant feature transform (SIFT); spatial pyramid; bag of features; histogram intersection kernel; support vector machines (SVM)

通信作者：曹江濤. E-mail: jtcao@lnpu.edu.cn.

隨著計算機和人工智能技術(shù)的發(fā)展，人機交互的研究方向正朝實現(xiàn)擬人化的方向發(fā)展。目的是使人類能夠利用包括自然語言、手勢語言、面部表情在內(nèi)的人類自然、直觀的方式實現(xiàn)人機交互。手勢作為一種智能的人機交互接口，十分適用于對復雜的交互系統(tǒng)做出反應?；谝曈X的手勢識別算法研究，已經(jīng)成為當今圖像處理與模式識別領(lǐng)域研究的熱點問題。基于視覺的單一背景的手勢識別主要包括特征的提取與描述、分類器的選擇與訓練2個過程。其中，所選擇的特征的好壞將直接影響到手勢識別的準確率[1]。文獻[2]采用邊緣像素點作為手勢特征，并使用Hausdorff距離匹配手勢模板。該方法較為簡單，但所提取的手勢特征不具有旋轉(zhuǎn)與縮放的不變性，而且受光照的影響較大。文獻[3]利用切線距離作為手勢特征，通過K-means聚類生成匹配模板，利用相似性匹配實現(xiàn)手勢識別。文獻[4]利用圖像的Zernike矩和HOG特征構(gòu)建字典，并通過求解l范數(shù)的最優(yōu)化問題實現(xiàn)分類識別。以上2種特征對于圖像的縮放具有不變性，但其特征提取的計算復雜度較高。文獻[5]提出利用局部均值模式描述手勢特征，采用gentle-Adaboost分類算法實現(xiàn)手勢分類和識別。文獻[6]提出利用基于尺度不變特征變換特征包(bag of feature-scale invariant feature transformation, BoF-SIFT)模型[7]和支持向量機(support vector machine，SVM)的手勢識別。這2種方法對特征提取與描述進行了改善，但BoF-SIFT描述的手勢特征丟棄了手勢特征點的分布特性，其識別的準確性受到限制。在分類器的選擇和設(shè)計方面，gentle-Adaboost分類器相對復雜，支持向量機需要選擇適當?shù)暮撕瘮?shù)和參數(shù)才能得到有效的識別效果。文獻[8]利用分層的特征包算法提取手勢圖像特征描述子，通過比較2幅手勢圖像特征描述子的相似度實現(xiàn)手勢識別。這種算法取得了很好的識別率，但算法中可調(diào)參數(shù)較多，識別效果受參數(shù)選擇影響較大。

綜上所述，為了更加有效地進行手勢特征的描述和識別，本文提出利用空間金字塔(spatial pyramid matching, SPM)特征包對手勢圖像特征進行提取和表示，該特征可以有效地描述手勢圖像的特征點及其分布特性，采用直方圖相交核(histogram intersection kernel, HIK)支持向量機對手勢特征進行分類和識別。該手勢識別算法的優(yōu)勢在于：1)空間金字塔特征包算法通過構(gòu)造圖像金字塔的方法，對每層圖像的不同塊區(qū)域運用BoF-SIFT算法來描述特征點，既能保持BoF-SIFT算法特征簡單、解決圖像局部特征不一致問題的優(yōu)點，還在BoF-SIFT的基礎(chǔ)上，增加了對特征點的分布特性的描述；2)直方圖相交核支持向量機可以用于解決高維、小樣本、非線性向量的分類問題，并且不用像其他類型的支持向量機核函數(shù)那樣需要選擇參數(shù)。

1手勢識別算法簡介

手勢識別算法如圖1所示。該方法主要針對單一背景下的手勢識別，因此無需對手勢圖像進行分割預處理。首先將圖像分割成不同的大小的塊組成圖像金字塔，然后對圖像金字塔中的每一層的每一塊生成BoF-SIFT特征描述，最后將圖像金字塔各層特征融合組成手勢圖像的SPM-BoF特征，并用直方圖相交核支持向量機進行特征的分類，實現(xiàn)對未知手勢的識別。

圖1　基于SPM-BoF算法的支持向量機手勢識別框圖 Fig. 1　 The diagram of posture recognition based on SPM- BoF algorithm and SVM

2BoF-SIFT算法提取圖像特征

BoF-SIFT算法描述手勢圖像特征分為2個步驟：1)檢測圖像特征點并生成特征點的SIFT描述子的特征向量形式；2)利用K-means算法對所有手勢圖像的SIFT特征進行向量聚類，用聚類中心建立視覺詞匯表，通過統(tǒng)計每張手勢圖像的視覺詞匯表直方圖作為手勢圖像的特征表示。

2.1檢測圖像關(guān)鍵點并生成關(guān)鍵點的SIFT描述子

尺度不變特征變換(scale invariant feature transform， SIFT)是D. G. Lowe在2004年首次提出的[9]。SIFT特征是一種圖像的局部特征，該特征對旋轉(zhuǎn)、尺度、縮放、亮度變化均具有不變性。獲取該特征主要分為特征點檢測與生成特征點SIFT描述符2個部分。在特征點檢測階段，David提出的構(gòu)造圖像尺度空間金字塔的方法將特征點周圍的每個像素的梯度模值和方向定義為：

(1)

(2)

式中：(x,y)為特征點的坐標，L(x,y)是圖像的高斯卷積。構(gòu)造描述子需要計算特征點周圍16×16圖像塊中各像素的梯度模值和方向。將坐標軸旋轉(zhuǎn)為關(guān)鍵點的方向，以確保旋轉(zhuǎn)不變性。將16×16圖像塊平均分成16個4×4的子區(qū)域，在每個子區(qū)域內(nèi)統(tǒng)計每個采樣點的梯度方向，并投影到8個方向上，計算其權(quán)值。最終得到16×8=128個梯度信息即為關(guān)鍵點的特征向量。SIFT特征點的SIFT描述過程如圖2所示。

圖2　SIFT描述子的生成過程 Fig. 2　SIFT descriptor generation process

2.2生成BoF-SIFT描述子

BoF算法是2004年由Csurka引入到圖像處理領(lǐng)域[10]。BoF算法叫做作詞袋算法，其思想是把一張圖像看作包含若干特征的集合，用這些特征的直方圖表征圖像特征。BoF算法首先要構(gòu)造視覺詞匯表(vsual vocabulary)。通常采用K-means算法將生成的SIFT描述符進行聚類，選取聚類中心作為視覺詞匯表，圖像的特征點可以利用與其最近鄰的視覺詞匯表示。通過直方圖方式進行量化，得到圖像的視覺碼字就是該圖像的BoF-SIFT特征描述子。

3空間金字塔特征包手勢識別算法

3.1空間金字塔特征包算法提取圖像特征

BoF-SIFT算法通過統(tǒng)計整張圖像的特征點特征生成全局直方圖，該方法丟失了圖像特征點的分布信息，因此不能很好地反應圖像特征點的分布特性?？臻g金字塔算法是一種利用空間金字塔進行圖像匹配、識別、分類的算法[10]。將空間金字塔思想與BoF算法結(jié)合。通過構(gòu)造空間圖像金字塔，對圖像分層運用BoF-SIFT算法，能在保持BoF-SIFT特征原有優(yōu)勢的基礎(chǔ)上，有效地表征目標圖像的局部特征和全局特征，并能更好地表示圖像特征點的分布特性。SPM-BoF算法框圖如圖3所示，具體的處理過程如下：

1)將原圖像分成不同大小的塊，構(gòu)造一個3層的圖像金字塔，第1層將整個圖像劃分為16個子塊，第2層將整個圖像劃分為4個子塊，第3層為整個圖像。

2)生成圖像的SIFT描述子，由于D. G. Lowe提出的檢測特征點的方法同時會模糊圖像的邊緣信息，造成檢測到的興趣點數(shù)目較少。本文直接將圖像均勻分成若干個像素為16×16的塊，以每個小塊的中心作為特征點生成SIFT描述子。

b)根據(jù)概率

d)確定所有的初始聚類中心后，用K-means算法聚類，得到了最終的K個聚類中心。

4)將得到的K個聚類中心作為視覺詞匯表，在步驟1)構(gòu)造的圖像金字塔中的每一層圖像的子塊中用BoF算法進行特征提取。在圖像金字塔中的每一層子塊中生成K個視覺碼字的BoF-SIFT描述子。

5)將每層的直方圖描述子加權(quán)組合構(gòu)造整張圖像的特征描述子。

圖3　空間金字塔特征包算法 Fig. 3　The schematic diagram of space pyramid BoF algorithm

3.2直方圖相交核支持向量機

支持向量機(SVM)在解決小樣本、非線性及高維的模式識別問題中表現(xiàn)出許多特有的優(yōu)勢[12]。其解決無法線性分類的樣本的關(guān)鍵在于核函數(shù)的選擇。直方圖相交核支持向量機利用直方圖描述的圖像特征能夠很好解決圖像分類和識別問題[13]。直方圖相交核的定義為

(3)

式中：A和B是圖像Aim和Bim的直方圖，每個直方圖由m個類組成，ai、bi(i=1,2,…,m)是直方圖A、B每個類的值。直方圖相交核的優(yōu)點并不只是能實現(xiàn)利用直方圖描述圖像的分類，更關(guān)鍵的一點是直方圖交叉核不用其他核函數(shù)那樣選定參數(shù)，這樣可以減少分類器設(shè)計時的參數(shù)設(shè)定。

4實驗結(jié)果與分析

實驗通過臺灣大學林智仁等開發(fā)的SVM模式識別與回歸的軟件包LIBSVM[14]建立，并構(gòu)建了直方圖相交核函數(shù)。利用J. Triesch提供的手勢數(shù)據(jù)庫[15]進行了大量實驗。該手勢庫中包含了10個手語字母手勢，分別為字母A、B、C、D、G、H、I、L、V、Y。每種手勢包含了24個人分別在單一黑色背景、單一白色背景和復雜背景的3類圖像，總數(shù)據(jù)量為719張圖像。實驗只驗證算法在單一背景手勢圖像識別的有效性，不考慮復雜背景的情況，單一背景圖像總數(shù)為480張。數(shù)據(jù)庫部分手語圖像如圖4所示。所有實驗環(huán)境為主頻3.0 GHz，內(nèi)存2 GB的PC、MATLAB 2009軟件。

圖4　Jochen Triesch數(shù)據(jù)庫的部分圖像 Fig. 4　Some images from Jochen Triesch’s database

4.1參數(shù)測試

通過分析算法的執(zhí)行過程，訓練樣本數(shù)N和K-means++算法聚類中心數(shù)K的選擇會影響識別結(jié)果。在不同參數(shù)下進行試驗，以最優(yōu)識別率為選擇參數(shù)的標準。

1)訓練樣本數(shù)對識別率的影響。

首先確定實驗中訓練數(shù)據(jù)和測試數(shù)據(jù)集的數(shù)目。設(shè)計訓練樣本N分別為120、140、160、180、200、220、240張圖像。測試樣本為240張圖像。初始聚類數(shù)為K=100。在選擇不同數(shù)目樣本情況下應用直方圖相交核支持向量機得到識別率變化曲線如圖5(a)所示。從圖中可以看到，當訓練樣本數(shù)N為220時，系統(tǒng)的識別率達到穩(wěn)定值。

2)不同聚類數(shù)對識別的影響。

設(shè)定不同的聚類數(shù)，分別為K=60， 70， 80， 90， 100， 110， 120，在相同樣本數(shù)的情況下測試算法的識別率。另外，為了測試樣本數(shù)和聚類中心數(shù)對系統(tǒng)的綜合影響，對不同輸入樣本的情況下變化聚類中心數(shù)，得到的識別率如圖5(b)所示?？梢钥闯?，在聚類中心數(shù)K≥100，訓練樣本數(shù)N=220和N=240時，曲線重合，平均識別率達到最大值。因此確定最優(yōu)參數(shù)為聚類中心數(shù)K=100，訓練樣本數(shù)N=240。

(a)不同訓練樣本數(shù)

(b)不同聚類數(shù) 圖5　當不同訓練樣本數(shù)和不同聚類數(shù)的平均識別率 Fig. 5　 The average recognition rate of different training sample and the number of clustering

4.2不同特征選擇對識別算法的影響

使用空間金字塔算法描述手勢圖像特征時，需要構(gòu)建圖像金字塔，并對各層特征加權(quán)融合得到最終的特征。所以權(quán)值的選取也是一個影響識別率的重要因素。在4.1節(jié)得到的最優(yōu)參數(shù)下，訓練樣本和測試樣本的圖像金字塔各層特征分別采用支持向量機進行訓練和識別，得到各層特征的識別率混淆矩陣如圖6所示，平均識別率如表1所示。

表 1　訓練集和測試集統(tǒng)計數(shù)據(jù)

(a)第1層

(b)第2層

(c)第3層 圖6　空間金字塔不同層特征得到的識別率混淆矩陣 Fig. 6　 Recognition confusion matrix of different image pyramid layers

通過觀察圖像金字塔各層特征的識別率可以看到，3層特征的平均識別率呈遞減趨勢，這是因為圖像金字塔中不同層數(shù)的圖像分割塊數(shù)依次變少。圖像金字塔第1層的圖像分割塊數(shù)最多，它比其他2層更能描述特征點的分布特性。本文用遍歷所有權(quán)值組合的方法得到了最佳識別率下的各層權(quán)值，具體過程為設(shè)權(quán)值矩陣為A=[a1a2a3]，其中ai∈[0.1, 1.0](i=1,2,3)，變化率為Δ=0.1，所有權(quán)值組合數(shù)為103=1 000。通過實驗，選取各層特征的權(quán)值分別為0.5、0.5和0.2，此時系統(tǒng)具有最高的識別率。

4.3實驗結(jié)果與其他文獻的比較

利用測試得到的最佳參數(shù)，重新從數(shù)據(jù)庫中選取12個人的40張手語圖像進行實驗。得到各個手語的識別混淆矩陣如圖7所示，可以看到，融合后的特征的識別率得到進一步改善。

圖7　最佳參數(shù)下不同手語手勢識別率混淆矩陣 Fig. 7　Recognition confusion matrix with optimal parameters

將本文的手勢識別方法與在Jochen Triesch數(shù)據(jù)庫中簡單背景進行測試的其他方法進行比較，比較結(jié)果見表2所示。從實驗結(jié)果中可以看出，提出的方法識別準確率高于文獻[16-17]的手勢識別方法。實驗結(jié)果驗證了空間金字塔與直方圖相交核支持向量機應用在手勢識別系統(tǒng)中的優(yōu)越性。

表 2　不同方法的識別結(jié)果

5結(jié)束語

本文提出了一種基于空間金字塔特征包的特征對手勢圖像進行表示，該方法相比于傳統(tǒng)的BoF-SIFT方法的優(yōu)勢在于能同時從局部和全局描述手勢圖像的特征點，還能描述特征點的分布特性。采用直方圖相交核支持向量機對所提取特征進行識別，該方法的優(yōu)點在于無需選擇參數(shù)，增加了系統(tǒng)的穩(wěn)定性。實驗表明了新方法的有效性。后續(xù)工作將考慮與其他識別算法的融合，以進一步提高識別的準確率。

參考文獻:

[1]隋云衡, 郭元術(shù). 融合Hu矩與BoF-SURF支持向量機的手勢識別[J]. 計算機應用研究, 2013, 31(3): 953-956, 960.

SUI Yunheng, GUO Yuanshu. Hand gesture recognition based on combining Hu moments and BoF-SURF support vector machine[J]. Application Research of Computers, 2013, 31(3): 953-956, 960.

[2]張良國, 吳江琴, 高文, 等. 基于Hausdorff距離的手勢識別[J]. 中國圖象圖形學報, 2002, 7(11): 1144-1150.

ZHANG Liangguo, WU Jiangqin, GAO Wen, et al. Hand gesture recognition based on Hausdorff distance[J]. Journal of Image and Graphics, 2002, 7(11): 1144-1150.

[3]黃國范, 毛紅閣. 基于切線距離的中國手指語字母手勢識別[J]. 吉林化工學院學報, 2013, 30(3): 79-81.

HUANG Guofan, MAO Hongge. Tangent distance-based Chinese finger alphabet gesture recognition[J]. Journal of Jilin Institute of Chemical Technology, 2013, 30(3): 79-81.

[4]張汗靈, 李紅英, 周敏. 融合多特征和壓縮感知的手勢識別[J]. 湖南大學學報:自然科學版, 2013, 40(3): 87-92.

ZHANG Hanling, LI Hongying, ZHOU Min. Hand posture recognition based on multi-feature and compressive sensing[J]. Journal of Hunan University: Natural Sciences, 2013, 40(3): 87-92.

[5]丁友東, 龐海波, 吳學純, 等. 一種用于手勢識別的局部均值模式紋理描述子[J]. 應用科學學報, 2013, 31(5): 526-532.

DING Youdong, PANG Haibo, WU Xuechun, et al. Local mean pattern texture descriptor for gesture recognition[J]. Journal of Applied Sciences, 2013, 31(5): 526-532.

[6]DARDAS N H, GEORGANAS N D. Real-time hand gesture detection and recognition using bag-of-features and support vector machine techniques[J]. IEEE Transaction on Instrumentation and Measurement, 2011, 60(11): 3592-3607.

[7]JIANG Yugang, NGO C W, YANG Jun. Towards optimal bag-of-features for object categorization and semantic video retrieval[C]//Proceedings of the 6th ACM International Conference on Image and Video Retrieval. New York, USA, 2007: 494-501.

[8]CHUANG Yuelong, CHEN Ling, CHEN Gencai. Hierarchical bag-of-features for hand gesture recognition[C]//Proceedings of 18th IEEE International Conference on Image Processing. Brussels, Belgium, 2011: 1777-1780.

[9]LOWE D G. Distinctive image features from scale-invariant keypoints[J]. International Journal of Computer Vision, 2004, 60(2): 91-110.

[10]LAZEBNIK S, SCHMID C, PONCE J. Beyond bags of features: Spatial pyramid matching for recognizing natural scene categories[C]//Proceedings of the 2006 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. New York, USA, 2006: 2169-2178.

[11]ARTHER D, VASSILVITSKII S. K-means++: the advantages of careful seeding[C]//Proceedings of the Eighteenth Annual ACM-SIAM Symposium on Discrete Algorithms. New York, USA, 2007: 1027-1035.

[12]易曉梅, 吳鵬, 劉麗娟, 等. 一種基于改進支持向量機的入侵檢測方法研究[J]. 計算機工程與應用, 2012, 48(15): 74-77.

YI Xiaomei, WU Peng, LIU Lijuan, et al. Intrusion detection method based on improved SVM[J]. Computer Engineering and Applications, 2012, 48(15): 74-77.

[13]BARLA A, ODONE F, VERRI A. Histogram intersection kernel for image classification[C]//Proceedings of International Conference on Image Processing. Barcelona, Spain, 2003: 513-516.

[14]CHANG C C, LIN C J. LIBSVM: a library for support vector machines[EB/OL]. [2014-05-10]. http://www.csie.ntu.edu.tw/cjlin/libsvm.

[15]TRIESCH J, MALSBURG C, MARCEL S. Hand posture and gesture datasets: Jochen Triesch static hand posture database[EB/OL]. [2014-05-10]. http://www.idiap.ch/resources/gestures/.

[16]JUST A, RODRIGUEZ Y, MARCEL S. Hand posture classification and recognition using the modified census transform[C]//Proceedings of the IEEE International Conference on Automatic Face and Gesture Recognition. Southampton, UK, 2006: 351-356.

[17]張秋余, 王道東, 張墨逸, 等. 基于特征包支持向量機的手勢識別[J]. 計算機應用, 2012, 32(12): 3392-3396.

ZHANG Qiuyu, WANG Daogdong, ZHANG Moyi, et al. Hand gesture recognition based on bag of features and support vector machine[J]. Journal of Computer Applications, 2012, 32(12): 3392-3396.

余思泉，男，1988年生，碩士研究生，主要研究方向為圖像處理、模式識別，申請發(fā)明專利2項。

曹江濤，男，1978年生，教授、博士，中國自動化學會機器人專業(yè)委員會委員和青工委委員，入選首批遼寧省高校杰出青年學者成長計劃，主要研究方向為智能方法及其在工業(yè)控制和視頻信息處理上的應用。承擔國家自然科學基金等項目多項，發(fā)表學術(shù)論文40余篇，其中被SCI檢索6篇、EI檢索22篇。

李平，男，1964年生，教授，博士生導師，IEEE高級會員，中國自動化學會過程控制專業(yè)委員會委員，入選遼寧省百千萬人才工程百人層次，主要研究方向為工業(yè)過程的先進控制理論及其應用。承擔國家“863”計劃項目、國家自然科學基金等項目多項，發(fā)表學術(shù)論文100余篇，其中被SCI、EI檢索50余篇。