林亞飛，曾曉勤

(河海大學(xué) 計(jì)算機(jī)與信息學(xué)院,南京 211100)

0 引言

作為聾啞人群體的共同語(yǔ)言，手語(yǔ)是聾啞人之間以及聾啞人與健全人之間日常溝通交流與表達(dá)感情的重要方式，手語(yǔ)對(duì)于聾啞人而言在生活中、學(xué)習(xí)上以及工作中尤為重要，但由于手語(yǔ)不是一門(mén)大眾化的語(yǔ)言，在聽(tīng)覺(jué)正常的人中只有極少數(shù)人會(huì)使用或者理解手語(yǔ)，導(dǎo)致聾啞人與外界溝通起來(lái)尤為困難。此外，近年來(lái)人機(jī)交互領(lǐng)域中手勢(shì)識(shí)別的應(yīng)用也越來(lái)越多，新一代人機(jī)交互技術(shù)實(shí)現(xiàn)了交互過(guò)程中“以人為中心”這一理念，用戶(hù)可以通過(guò)手勢(shì)、語(yǔ)音、表情、肢體動(dòng)作等操作計(jì)算機(jī)，這樣的交互過(guò)程更加符合人的交流習(xí)慣。因此本文對(duì)中國(guó)靜態(tài)手勢(shì)語(yǔ)識(shí)別進(jìn)行了深入的研究。

中國(guó)科技大學(xué)的研究者提取手部的運(yùn)動(dòng)軌跡特征及手型特征，引入?yún)^(qū)分性字典學(xué)習(xí)和稀疏表示的識(shí)別算法對(duì)孤立詞手語(yǔ)進(jìn)行識(shí)別，對(duì)實(shí)驗(yàn)中采集的72個(gè)孤立手語(yǔ)詞識(shí)別的平均正確率為98.61%； Ayman等人提出了主成分分析法結(jié)合定向梯度直方圖對(duì)手語(yǔ)進(jìn)行識(shí)別的方法，對(duì)30個(gè)阿拉伯字母的識(shí)別正確率達(dá)到了99.2%；Giulio等人將Kinect和LeapMotion相結(jié)合共同獲取手部數(shù)據(jù)信息并將提取得到的手部信息特征進(jìn)行融合后由SVM分類(lèi)器分類(lèi)識(shí)別；中國(guó)傳媒大學(xué)的研究者通過(guò)Kinect獲取手部骨關(guān)節(jié)點(diǎn)信息來(lái)識(shí)別靜態(tài)的手勢(shì)和動(dòng)態(tài)手語(yǔ)的手部位置，提取其方向梯度直方圖特征并結(jié)合黃金分割算法進(jìn)行識(shí)別。

本文通過(guò)Kinect 2.0設(shè)備采集靜態(tài)手語(yǔ)對(duì)應(yīng)的深度圖像及彩色圖像，通過(guò)閾值分割算法提取手部區(qū)域圖像并對(duì)其進(jìn)行形態(tài)學(xué)開(kāi)操作處理，從得到的僅包含手部區(qū)域在內(nèi)的圖像中提取SURF特征后通過(guò)K-means++算法聚類(lèi)構(gòu)造視覺(jué)詞匯字典，繼而用視覺(jué)詞匯在圖像中的出現(xiàn)頻率來(lái)表示圖像局部特征所對(duì)應(yīng)的數(shù)值向量，將圖像的局部特征與MYO臂環(huán)采集得到的肌電信號(hào)特征相融合后得到的特征向量通過(guò)SVM分類(lèi)器進(jìn)行學(xué)習(xí)，并通過(guò)學(xué)習(xí)得到的分類(lèi)器對(duì)靜態(tài)手勢(shì)語(yǔ)進(jìn)行分類(lèi)識(shí)別。實(shí)驗(yàn)采用五倍交叉驗(yàn)證的方法將5個(gè)數(shù)據(jù)集分為測(cè)試集和訓(xùn)練集進(jìn)行訓(xùn)練識(shí)別，對(duì)每一個(gè)數(shù)據(jù)集進(jìn)行識(shí)別的正確率最高可達(dá)97.28%，本文所提出的總體架構(gòu)圖,如圖1所示。

圖1 系統(tǒng)總體架構(gòu)框圖

2 SURF特征提取及其BOF表示

2.1 靜態(tài)手語(yǔ)像中手部區(qū)域的分割

主要的手部分割方法有兩種，一種是基于顏色分割，通過(guò)對(duì)顏色變換并提取與膚色相近的區(qū)域來(lái)獲得手掌的部位，另一種是通過(guò)深度分割，通過(guò)深度閾值等方法來(lái)實(shí)現(xiàn)提取具有特定深度的區(qū)域，當(dāng)只有人的手掌在這一區(qū)域時(shí)，便可以應(yīng)用基于深度的分割。結(jié)合兩種分割的有點(diǎn)，本文提出了彩色圖像和深度圖像相結(jié)合的手部分割算法：(1)通過(guò)kinect獲取到包含人體及周?chē)h(huán)境在內(nèi)的彩色圖像及深度圖像；(2)將深度圖像幀映射到彩色空間；(3)選取落在彩色圖像上的點(diǎn)并對(duì)復(fù)雜的前景和背景進(jìn)行閾值分割，從而得到僅包含手部區(qū)域在內(nèi)的彩色圖像。

2.2 SURF特征的提取及BOF表示

本文采用SURF特征提取算法對(duì)靜態(tài)手語(yǔ)圖像進(jìn)行特征提取，其特征提取結(jié)果如圖3所示。

BOF(Bag Of Features)模型仿照文本檢索領(lǐng)域的Bag-of-Words方法，將每幅圖像描述為一個(gè)由局部區(qū)域/關(guān)鍵點(diǎn)特征構(gòu)成的無(wú)序集合，通過(guò)聚類(lèi)算法對(duì)局部特征進(jìn)行聚類(lèi)操作，從而得到局部特征的多個(gè)聚類(lèi)中心，每一個(gè)聚類(lèi)中心即可作為詞袋模型中的一個(gè)視覺(jué)詞匯(Visual Word)，所有視覺(jué)詞匯共同構(gòu)成詞袋模型中的視覺(jué)詞典。通過(guò)計(jì)算圖像的局部特征到各個(gè)聚類(lèi)中心得距離可以將圖像的局部特征映射至視覺(jué)詞典中的某個(gè)視覺(jué)詞匯上。而后通過(guò)視覺(jué)詞匯在圖像中出現(xiàn)的頻率來(lái)表征圖像所具有的局部特征，通過(guò)統(tǒng)計(jì)不同視覺(jué)單詞在圖像中的出現(xiàn)頻率可以得到能夠描述該圖像的視覺(jué)向量直方圖，即Bag-of-Features。SURF-BOF模型構(gòu)造過(guò)程如圖4所示。

圖4 SURF-BOW模型構(gòu)造流程圖

3 sEMG特征提取及與SURF-BOF特征的融合

3.1 表面肌電信號(hào)特征提取

本文中使用MYO臂環(huán)通過(guò)8片肌電傳感器和慣性測(cè)量單元可以測(cè)量被佩戴者的手臂肌肉活動(dòng)狀態(tài)并采集sEMG、ACC、Gyo等原始數(shù)據(jù)，同時(shí)將這些數(shù)據(jù)通過(guò)藍(lán)牙傳輸給其他電子設(shè)備用于交互控制。不同的人做同一動(dòng)作或者同一人做不同動(dòng)作，MYO臂環(huán)的八片傳感器采集到的表面肌電信號(hào)信息均會(huì)呈現(xiàn)出或多或少的差異，不同人做握拳動(dòng)作時(shí)得到的表面肌電信號(hào)波形圖，如圖5所示。

在數(shù)據(jù)采集過(guò)程中，每個(gè)受試者需要進(jìn)行連續(xù)重復(fù)的靜態(tài)手語(yǔ)動(dòng)作采集，不同靜態(tài)手語(yǔ)動(dòng)作之間會(huì)有3-5s的休息，而后對(duì)同一連續(xù)動(dòng)作采用滑動(dòng)平均能量的方法提取其有效的手勢(shì)活動(dòng)段用于后續(xù)研究。在手勢(shì)動(dòng)作執(zhí)行過(guò)程中 ，傳感器檢測(cè)到的sEMG信號(hào)稱(chēng)為活動(dòng)段，該信號(hào)可以作為受試者所做手勢(shì)動(dòng)作的sEMG信號(hào)樣本。表面肌電信號(hào)的采集及特征提取過(guò)程如圖6所示。

圖6 MYO臂環(huán)采集SEMG信號(hào)及特征提取流程

3.2 圖像特征與表面肌電信號(hào)特征融合

表肌電信號(hào)表征手勢(shì)語(yǔ)的全局特征，BOF-SURF特征表示手勢(shì)語(yǔ)的局部特征，兩種特征對(duì)手勢(shì)語(yǔ)圖像的表征比重有所不同，所以將兩種特征配以不同的權(quán)值進(jìn)行線(xiàn)性融合得到最終的特征向量I，融合特征的特征向量表示為：

I=[w1*Fbow-surf+w2*FsEmq]

(1)

其中，w1和w2分別代表BOF-SURF特征及sEMG特征對(duì)應(yīng)的權(quán)值，并滿(mǎn)足w1+w2=1，其實(shí)際值通過(guò)實(shí)驗(yàn)迭代至正確率最高時(shí)得到。

4 手語(yǔ)識(shí)別實(shí)驗(yàn)結(jié)果及分析

4.1 樣本數(shù)據(jù)庫(kù)及實(shí)驗(yàn)數(shù)據(jù)集

本文所需的樣本庫(kù)由五個(gè)受試者佩戴MYO臂環(huán)在Kinect攝像頭的可視范圍內(nèi)錄入的手勢(shì)語(yǔ)樣本圖像組成。受試者在距離Kinect設(shè)備1.5米，2米及2.5米的地方分別做30個(gè)中國(guó)靜態(tài)手勢(shì)語(yǔ)的手勢(shì)，錄入每一個(gè)字母手勢(shì)語(yǔ)手形從中間偏左到中間偏右45度之間所有位置的手勢(shì)語(yǔ)圖像。將得到圖像分為5組通過(guò)五倍交叉驗(yàn)證法進(jìn)行實(shí)驗(yàn)，最終得到每一組數(shù)據(jù)集作為測(cè)試集時(shí)的識(shí)別正確率可達(dá)到97%左右。

4.2 對(duì)比實(shí)驗(yàn)結(jié)果分析及總結(jié)

本文算法與其他算法識(shí)別率的比較。該實(shí)驗(yàn)從樣本庫(kù)中共選取出18 750幅圖像，將其平均分為五組，通過(guò)五倍交叉驗(yàn)證的方法分別對(duì)每一組樣本集進(jìn)行識(shí)別正確率檢測(cè)。該實(shí)驗(yàn)分別通過(guò)SURF+SVM，BOF-SURF+SVM、sEMG+BOF-SURF+SVM三種試驗(yàn)方法來(lái)驗(yàn)證本文提出的算法的可行性，其識(shí)別正確率如表1所示。

表1 不同手語(yǔ)識(shí)別方法識(shí)別正確率的比較

從5個(gè)數(shù)據(jù)集中分別選出25張字母A到G的手語(yǔ)圖像作為測(cè)試集由3種不同的識(shí)別方法識(shí)別得到的準(zhǔn)確率如表2所示。

表2 手語(yǔ)字母識(shí)別正確率比較

5 總結(jié)

本文提出一種將從圖像中提取出的SURF特征與人體表面肌電信號(hào)特征(sEMG)相融合來(lái)對(duì)中國(guó)靜態(tài)手語(yǔ)字母進(jìn)行識(shí)別的方法，將從圖像中直接提取得到的SURF特征經(jīng)由詞袋模型進(jìn)行二次表征能夠使得對(duì)整個(gè)樣本庫(kù)而言，詞袋模型中的視覺(jué)詞匯表征的圖像特征更加容易區(qū)分從而在一定程度上提高識(shí)別的準(zhǔn)確率，將人體表面肌電信號(hào)特征單獨(dú)用于手語(yǔ)識(shí)別時(shí)因?yàn)閭€(gè)體差異的存在會(huì)使得識(shí)別的結(jié)果較不穩(wěn)定，但與SURF特征相結(jié)合后，并將人體表面肌電信號(hào)特征的影響因子控制在 一定范圍內(nèi)能夠有效的提升識(shí)別的準(zhǔn)確率并能顯著改善因個(gè)體差異而導(dǎo)致的不穩(wěn)定性。

后續(xù)將進(jìn)一步改進(jìn)特征融合的方法，嘗試將更多的特征進(jìn)行融合，提取人在做手語(yǔ)動(dòng)作時(shí)的多重特征，從不同方面來(lái)表示手語(yǔ)動(dòng)作從而提高算法的魯棒性及識(shí)別的正確率。繼靜態(tài)手語(yǔ)研究之后考慮將該方法應(yīng)用于動(dòng)態(tài)手語(yǔ)識(shí)別中，對(duì)由視頻表示的孤立詞語(yǔ)進(jìn)行識(shí)別。目前的研究所用的樣本庫(kù)均是借助現(xiàn)有設(shè)備自行采集的，國(guó)際上并未有標(biāo)準(zhǔn)的手語(yǔ)樣本庫(kù)，若將來(lái)公布標(biāo)準(zhǔn)手語(yǔ)庫(kù)后，考慮將現(xiàn)有的樣本庫(kù)通過(guò)一定的編碼轉(zhuǎn)化方式與標(biāo)準(zhǔn)手語(yǔ)庫(kù)進(jìn)行對(duì)齊從而使得該識(shí)別方法具有一定的通用性。