彭平，羅遠(yuǎn)峰

（1.廣州工商學(xué)院計(jì)算機(jī)科學(xué)與工程系，廣州 510665;2.廣東技術(shù)師范學(xué)院計(jì)算機(jī)科學(xué)學(xué)院，廣州 510665）

基于SURF-BoW特征的手語(yǔ)識(shí)別研究

彭平1，羅遠(yuǎn)峰2

（1.廣州工商學(xué)院計(jì)算機(jī)科學(xué)與工程系，廣州 510665;2.廣東技術(shù)師范學(xué)院計(jì)算機(jī)科學(xué)學(xué)院，廣州 510665）

在手語(yǔ)識(shí)別的研究中,提出一種基于SURF-BoW特征的手語(yǔ)識(shí)別方法。該方法通過(guò)攝像頭采集圖像，首先對(duì)手勢(shì)進(jìn)行定位與跟蹤，然后提取SURF特征，進(jìn)而構(gòu)建SURF-BoW作為手語(yǔ)特征并用SVM進(jìn)行識(shí)別。實(shí)驗(yàn)結(jié)果表明，該方法對(duì)單個(gè)字母最好識(shí)別率為99.43%，平均識(shí)別率為94.38%。

SURF；手語(yǔ)識(shí)別；SVM；CamShift

0 引言

近年來(lái)，人工智能、深度學(xué)習(xí)、虛擬現(xiàn)實(shí)（VR）和增強(qiáng)現(xiàn)實(shí)（AR）等技術(shù)飛速發(fā)展，逐步改變著我們的日常生活。在人機(jī)交互方式上，如何更自然、更便捷、更智能、更直觀的人機(jī)交互方式已成為當(dāng)前計(jì)算機(jī)領(lǐng)域的研究熱點(diǎn)。另外，對(duì)于聾啞人這部分特殊群體，由于不能用口語(yǔ)進(jìn)行表達(dá)，只能依靠手勢(shì)、肢體動(dòng)作和眼神等方式來(lái)溝通交流，而大部分人并不懂手語(yǔ)，由此阻礙了聾啞人與他人的交流、學(xué)習(xí)、交流和生活。由此，手語(yǔ)識(shí)別也迎來(lái)了發(fā)展的契機(jī)，手語(yǔ)識(shí)別系統(tǒng)的研究不僅能夠創(chuàng)建一種自然、和諧的人機(jī)交互方式，推動(dòng)計(jì)算機(jī)視覺(jué)領(lǐng)域的發(fā)展，而且能夠切實(shí)幫助聾啞人改善學(xué)習(xí)、生活和工作環(huán)境，是一個(gè)具有重大意義的研究課題。

手語(yǔ)識(shí)別研究主要分為基于佩戴式設(shè)備的手語(yǔ)識(shí)別和基于計(jì)算機(jī)視覺(jué)的手語(yǔ)識(shí)別。由于基于佩戴式設(shè)備的識(shí)方法所采用的跟蹤器或數(shù)據(jù)手套價(jià)格較高，且穿戴復(fù)雜，所以很難推廣到實(shí)際的應(yīng)用中。而基于計(jì)算機(jī)視覺(jué)的識(shí)別方法只需通過(guò)攝像頭采集圖像，再利用算法對(duì)圖像進(jìn)行分析識(shí)別，所需設(shè)備成本很低且適于普及應(yīng)用。在手語(yǔ)識(shí)別過(guò)程中，由于手形變化多樣、形態(tài)復(fù)雜，加上容易受光照等因素的影響，進(jìn)一步加大了手勢(shì)跟蹤、分割、特征提取和識(shí)別的難度，這也是目前需要解決的技術(shù)難題。

本文采用普通攝像頭作為手語(yǔ)圖像的采集設(shè)備，提出一種基于人體結(jié)構(gòu)的雙手定位方法，實(shí)現(xiàn)雙手定位，進(jìn)而進(jìn)行跟蹤，再利用SURF進(jìn)行手勢(shì)圖像的特征提取，然后利用K-Means聚類(lèi)算法構(gòu)建視覺(jué)詞匯表，再構(gòu)造BoW（Bag of Words）統(tǒng)計(jì)手勢(shì)圖片各個(gè)類(lèi)別出現(xiàn)的頻率，最后使用SVM進(jìn)行分類(lèi)。

1 雙手檢測(cè)與定位

手語(yǔ)需要左手、右手、面部表情和肢體動(dòng)作等相互配合，才能表達(dá)打手語(yǔ)者需要表達(dá)的意思。對(duì)于單手的檢測(cè)與定位，前人已做了很多研究，且有很多較好的成果[1-2]，但對(duì)于雙手的檢測(cè)與定位，這方面的研究較少。很多只能在雙手粘合的情況下實(shí)現(xiàn)檢測(cè)與定位，但對(duì)雙手分開(kāi)且距離較遠(yuǎn)時(shí)，依然只能檢測(cè)出一只手，沒(méi)有真正實(shí)現(xiàn)雙手的識(shí)別。

本文對(duì)雙手的檢測(cè)與定位進(jìn)行研究，提出一種基于人體結(jié)構(gòu)的雙手定位方法：該方法在初始化時(shí)，首先通過(guò)人臉檢測(cè)，如果圖像中出現(xiàn)人臉，則認(rèn)為實(shí)驗(yàn)場(chǎng)景中出現(xiàn)打手語(yǔ)者，然后以人臉膚色的最低像素點(diǎn)將圖像劃分為四個(gè)區(qū)域（見(jiàn)圖1）。由此，認(rèn)為區(qū)域A和區(qū)域B出現(xiàn)的所有膚色都不是打手語(yǔ)者的手。然后再利用面積法過(guò)濾掉較小的膚色塊，最后認(rèn)為區(qū)域C中最大的膚色塊即是打手語(yǔ)者的右手，區(qū)域D中最大的膚色塊即是打手語(yǔ)者的左手，從而實(shí)現(xiàn)雙手的檢測(cè)與定位。

圖1 雙手檢測(cè)與定位區(qū)域劃分

本文實(shí)現(xiàn)了這一方法，經(jīng)過(guò)多次測(cè)試，這一方法能夠很好的將區(qū)域A和區(qū)域B中的干擾去除，通過(guò)縮小手勢(shì)檢測(cè)的區(qū)域來(lái)提高算法的執(zhí)行效率。另外，對(duì)復(fù)雜動(dòng)態(tài)背景干擾下的手勢(shì)識(shí)別有著很好的穩(wěn)定性，只要區(qū)域C中和區(qū)域D中不存在比手的膚色塊大的背景，就能夠準(zhǔn)確的定位出雙手位置，然后進(jìn)行跟蹤，算法的實(shí)現(xiàn)流程如下：

（1）輸入圖像image，對(duì)其進(jìn)行預(yù)處理。

（2）建立YCgCr和YCgCb顏色空間[3]并進(jìn)行擬合，找出膚色像素并進(jìn)行二值化操作，輸出膚色檢測(cè)結(jié)果圖像Bimage。

（3）在圖像中利用OpenCV自帶的人臉檢測(cè)器搜索人臉[4]，根據(jù)人臉將圖像分成A、B、C、D四個(gè)區(qū)域。

（4）在區(qū)域C中檢測(cè)輪廓集NC，在區(qū)域D中檢測(cè)輪廓集ND，用面積法刪除過(guò)小的膚色塊。

（5）在區(qū)域C中找出最大的輪廓認(rèn)為是右手，在區(qū)域D中找出最大的輪廓認(rèn)為是左手。

2 手勢(shì)跟蹤與特征提取

在復(fù)雜背景中提取手勢(shì)，包括運(yùn)動(dòng)手勢(shì)區(qū)域檢測(cè)跟蹤和手勢(shì)的特征提取兩個(gè)方面。

2.1 CamShift跟蹤

在利用CamShift算法進(jìn)行手勢(shì)跟蹤的過(guò)程中，由于CamShift算法是只利用顏色統(tǒng)計(jì)來(lái)做分析并進(jìn)行跟蹤，如果背景有與跟蹤目標(biāo)的顏色相似的物體時(shí)，則可能讓CamShift算法的跟蹤窗口中包含與目標(biāo)無(wú)關(guān)的物體，從而導(dǎo)致目標(biāo)跟蹤錯(cuò)誤。在對(duì)手的跟蹤過(guò)程中，如果出現(xiàn)另外一手對(duì)其進(jìn)行干擾，則錯(cuò)誤出現(xiàn)的機(jī)率很高。如圖2（A）中所示，在跟蹤右手的時(shí)候，使用左手進(jìn)行干擾時(shí)，由于右手的顏色與左手顏色基本相同，CamShift算法將干擾的右手誤判為目標(biāo)手勢(shì)而進(jìn)行了跟蹤；

另外，當(dāng)手移動(dòng)較快時(shí)，CamShift算法的窗口寬度會(huì)越來(lái)越小，最后會(huì)出現(xiàn)目標(biāo)丟失的情況，如圖2（B）中所示，在實(shí)驗(yàn)對(duì)字母T進(jìn)行跟蹤時(shí)，由于手移動(dòng)過(guò)快，CamShift算法出現(xiàn)跟蹤目標(biāo)丟失的情況[5-6]。

圖2 CamShift算法誤跟蹤標(biāo)和丟失目標(biāo)實(shí)驗(yàn)

對(duì)此，本文在CamShift算法的基礎(chǔ)上，提出一種基于膚色模型和CamShift的手勢(shì)跟蹤方法。主要是利用輪廓的質(zhì)心與CamShift計(jì)算出新跟蹤窗口的質(zhì)心來(lái)確定跟蹤目標(biāo)，在跟蹤過(guò)程中不斷修正跟蹤窗口，避免跟蹤丟失。算法的原理是：（1）利用YCgCr與YCgCb顏色空間分割出膚色并進(jìn)行二值化操作，以減少非膚色區(qū)域?qū)Ω櫟母蓴_；（2）找出圖像中所有的膚色輪廓，利用面積法刪除過(guò)小的非手勢(shì)輪廓，以減少運(yùn)算量；（3）計(jì)算出滿(mǎn)足條件的輪廓質(zhì)心，找出CamShift跟蹤窗口質(zhì)心與輪廓質(zhì)心距離最短的輪廓，認(rèn)為該輪廓就是要繼續(xù)跟蹤的目標(biāo)；（4）用該輪廓的矩形包圍框大小修正CamShift跟蹤窗口，計(jì)算下一幀。當(dāng)新跟蹤窗口突然增大一倍時(shí)，認(rèn)為有干擾物體，跟蹤窗口保持不變。

圖3是本文實(shí)現(xiàn)的算法實(shí)驗(yàn)效果，圖中橢圓區(qū)域?yàn)槎ㄎ坏娜四槄^(qū)域，紅色矩形框?yàn)楦櫟淖笫郑t色小圓圈為左手CamShift的質(zhì)心，藍(lán)色矩形框?yàn)楦櫟挠沂郑t色小圓圈為右手CamShift的質(zhì)心?？梢?jiàn)，利用YCgCr與YCgCb顏色空間分割出手勢(shì)后再利用輪廓質(zhì)心與CamShift算法的跟蹤窗口質(zhì)心的最短距離來(lái)選擇跟蹤目標(biāo)，能夠有效減少非手勢(shì)的干擾，提高跟蹤準(zhǔn)確率。但是經(jīng)過(guò)多次測(cè)試發(fā)現(xiàn)，由于是基于膚色的分割模型，當(dāng)左右手重疊在一起時(shí)，兩個(gè)CamShift跟蹤同一目標(biāo)，導(dǎo)致雙手分離后，只能跟蹤其中一只手。對(duì)此，在左右手完全重合時(shí)，表明圖像中只找到一只手，兩個(gè)CamShift跟蹤窗口在跟蹤同一目標(biāo)。當(dāng)其分開(kāi)后，可以重新執(zhí)行前文中的雙手定位算法，以修正對(duì)雙手的跟蹤，增強(qiáng)系統(tǒng)的魯棒性。

圖3 本文的跟蹤方法實(shí)驗(yàn)

2.2 SURF－BoW特征表示

SURF（Speeded Up Robust Features）是對(duì)SIFT算法的一種改進(jìn)，它繼承了SIFT的尺度不變性的優(yōu)點(diǎn)，同時(shí)具有重復(fù)性、特異性和魯棒性，SURF與其他算法相比，計(jì)算和匹配速度更快，能夠滿(mǎn)足實(shí)時(shí)性的需求[7-8]。

圖4為SIFT與SURT的特征提取實(shí)驗(yàn)。（a）（c）是同一幅圖像，利用SIFT提取到382個(gè)特征點(diǎn)，而SURF提取到851個(gè)特征點(diǎn)；（c）（d）是字母Z經(jīng)過(guò)圖像分割后的圖像，利用SIFT提取到的特征點(diǎn)為50個(gè)，而SURF提取到71個(gè)特征點(diǎn)?？梢?jiàn)SURF能夠提取到更多的特征，利于BoW模型的建立。

圖4 SIFT與SURF特征點(diǎn)對(duì)比

BoW最早出現(xiàn)在文本分類(lèi)中，它的基本思想是：對(duì)于任意一個(gè)文本，忽略其詞序、語(yǔ)法和句法等要素的影響，只把它看作是由一些詞匯組成的集合體。因此，在一個(gè)文本中任意位置出現(xiàn)的任意單詞，都不會(huì)改變文檔的語(yǔ)意，文本中所有的單詞都是孤立存在的[9]。

將Bag of Words模型應(yīng)用在手語(yǔ)圖像識(shí)別中，即可以將圖像看作是由很多不同的手語(yǔ)視覺(jué)詞匯組成的文檔，且不同視覺(jué)詞匯之間互不影響，任意組合。但是手語(yǔ)圖像中的手語(yǔ)視覺(jué)詞匯不是直觀顯示的，需要對(duì)圖像進(jìn)行特征提取，將手語(yǔ)視覺(jué)詞匯從圖像中抽取出來(lái)，再建立手語(yǔ)圖像構(gòu)造BoW。該過(guò)程主要有以下幾個(gè)步驟：

（1）提取特征：通過(guò)圖像預(yù)理、手勢(shì)檢測(cè)定位，應(yīng)用SURF算法提取手勢(shì)的興趣點(diǎn)；

（2）特征表示：采用SURF來(lái)表示圖像內(nèi)容；

（3）視覺(jué)單詞生成：將SURF表示的圖像劃分若干個(gè)小區(qū)域，將各個(gè)小區(qū)域的圖像量化成手語(yǔ)視覺(jué)單詞；

（4）BoW生成：首先統(tǒng)計(jì)一幅手語(yǔ)圖像中的各個(gè)視覺(jué)單詞出現(xiàn)的頻率，然后生成視覺(jué)單詞的頻率直方圖，再用BoW模型來(lái)表示該手語(yǔ)圖像，最后利用SVM進(jìn)行分類(lèi)識(shí)別。

圖5 構(gòu)造BoW模型的流程示意圖

3 手語(yǔ)識(shí)別實(shí)驗(yàn)

實(shí)驗(yàn)運(yùn)行環(huán)境：CPU為Intel i5-4460，主頻3.2GHz；內(nèi)存為DDR3 1333MHz，8G；顯卡為Nvidia GeForce GT740，顯存1G；攝像頭為羅技C170 USB攝像頭。軟件開(kāi)發(fā)環(huán)境為：操作系統(tǒng)是Windows7 64bit；集成開(kāi)發(fā)環(huán)境為Visual Studio 2010，應(yīng)用程序框架MFC，編程語(yǔ)言為C++；計(jì)算機(jī)視覺(jué)庫(kù)版本OpenCV 2.4.10。

手指語(yǔ)圖像采集過(guò)程中，采取同一人打同一手勢(shì)多次，不同人打同一手勢(shì)多次的策略，在不同背景和光照環(huán)境下進(jìn)行采集，分別對(duì)30個(gè)手指語(yǔ)進(jìn)行采集，每種手指語(yǔ)圖片采集100張，共30×100張，以保證手語(yǔ)訓(xùn)練特征提取更完整。將采集的手語(yǔ)圖片按照手勢(shì)的名字存儲(chǔ)，以備對(duì)手語(yǔ)進(jìn)行訓(xùn)練。如圖6是手語(yǔ)手采集的過(guò)程，其中a為手勢(shì)定位與跟蹤，b為膚色分割結(jié)果，c為手勢(shì)區(qū)域選取，d為手勢(shì)分割結(jié)果。

圖6 手語(yǔ)手采集過(guò)程

實(shí)驗(yàn)通過(guò)攝像頭實(shí)時(shí)提取圖像，分割出手勢(shì)區(qū)域，再利用SURF提取手語(yǔ)手勢(shì)特征，建立BoW模型，最后采用徑向基核函數(shù)（Radical Basis Function，RBF）SVM模式識(shí)別方法實(shí)現(xiàn)對(duì)中國(guó)手指語(yǔ)的識(shí)別[10]，主要包含以下步驟：

測(cè)試過(guò)程中采用實(shí)時(shí)檢測(cè)的方式，對(duì)30個(gè)字母分別進(jìn)行50次測(cè)試，相當(dāng)于1500張測(cè)試圖片，其中不同手勢(shì)交替進(jìn)行識(shí)別，同時(shí)進(jìn)行多輪測(cè)試，以驗(yàn)證系統(tǒng)的手勢(shì)跟蹤的準(zhǔn)確率，最后統(tǒng)計(jì)手語(yǔ)識(shí)別的正確率?；赟URF-BoW特征和SVM分類(lèi)器識(shí)別結(jié)果如表1所示，平均識(shí)別率為94.38%。

表1 基于單目視覺(jué)的手語(yǔ)識(shí)別系統(tǒng)識(shí)別結(jié)果統(tǒng)計(jì)表

在相同的實(shí)驗(yàn)條件下，相同手勢(shì)在不同的特征下識(shí)別結(jié)果如表1所示，其中誤判率為SVM對(duì)相似字母的誤識(shí)別率。在相同手語(yǔ)庫(kù)上的實(shí)驗(yàn)表明，SURF_BoW的方法在各項(xiàng)指標(biāo)中均優(yōu)于其他特征描述方法，是一種非常有效的手語(yǔ)特征。

4 結(jié)語(yǔ)

本文提出了一種基于SURF-BoW特征的手語(yǔ)識(shí)別方法，對(duì)30個(gè)中國(guó)手指語(yǔ)在不同的環(huán)境下進(jìn)行了識(shí)別實(shí)驗(yàn)，可獲得較高的識(shí)別率，這說(shuō)明本文提出的方法是有效的，為手語(yǔ)識(shí)別方法的研究提供參考與借鑒。

圖7 手語(yǔ)識(shí)別步驟

表2 不同特征的手語(yǔ)識(shí)別方法比較

[1]楊志紅,肖忠毅.基于視覺(jué)的多特征手勢(shì)識(shí)別[J].電子技術(shù)與軟件工程,2015(9):85-85.

[2]孫麗娟,張立材,郭彩龍.基于視覺(jué)的手勢(shì)識(shí)別技術(shù)[J].計(jì)算機(jī)技術(shù)與發(fā)展，2008,18(10):214-216.

[3]張爭(zhēng)珍，石詳躍.YCgCr與YCgCb顏色空間的膚色檢測(cè)[J].計(jì)算機(jī)工程與應(yīng)用，2010,46(34):167-170.

[4]ROBERT L.OpenCV計(jì)算機(jī)視覺(jué)編程攻略[M].第5版.相銀.北京：人民郵電出版社,2015.

[5]楊全.基于表觀建模的中國(guó)手語(yǔ)識(shí)別技術(shù)研究[D].西北大學(xué),2013.

[6]鄒鐵軍,張書(shū)偉,蔣杰,等.基于OpenCV的運(yùn)動(dòng)目標(biāo)定位跟蹤系統(tǒng)軟件設(shè)計(jì)[J].智能計(jì)算機(jī)與應(yīng)用,2012,02(3):60-63.

[7]Bay H,Tuytelaars T,Gool L V.SURF:Speeded Up Robust Features[J].Computer Vision&Image Understanding,2006,110(3):404-417.

[8]Yang Q,Peng J Y.Chinese Sign Language Recognition Method Based on Depth Image Information and SURF-BoW[J].Pattern Recognition&Artificial Intelligence,2014,27(8):741-749.

[9]王瑩.基于BoW模型的圖像分類(lèi)方法研究[D].哈爾濱工程大學(xué),2012.

[10]高幸.基于SVM的圖像分類(lèi)與標(biāo)注方法的研究[D].北京交通大學(xué),2015.

Research on Sign Language Recognition Base on SURF-BoW Features

PENG Ping1,LUO Yuan-feng2

（1.Guangzhou College of Technology and Business，Guangzhou 510665；2.Guangdong Polytechnic Normal University,Guangzhou 510665）

In the sign language recognition research,presents a sign language recognition method based on SURF-BoW.It uses ordinary camera as the video capture device.First,tracks gesture detection and.Second,Extracts the SIFT features.Finally,builds SURF-BoW as the feature of sign language and uses SVM for recognition.The experimental results show that the best recognition rate of single manual alphabet can reach 99.43%,while the average recognition rate is 94.38%.

SURF;Sign Language Recognition;SVM;CamShift

1007-1423（2016）33-0037-05

10.3969/j.issn.1007-1423.2016.33.008

彭平（1956-），男，重慶人，碩士，教授，研究生導(dǎo)師，研究方向?yàn)橄到y(tǒng)仿真、軟件工程、智能計(jì)算

2016-10-08

2016-11-12

羅遠(yuǎn)峰（1987-），男，在讀碩士研究生，研究方向?yàn)橛?jì)算機(jī)視覺(jué)和BIM應(yīng)用技術(shù)