曲寶，李薈

（東北石油大學(xué)，大慶163318）

人機(jī)交互方式在近些年來隨著科學(xué)技術(shù)的飛速發(fā)展發(fā)生了巨大的變化，多樣化和人性化在近些年來已經(jīng)成為人機(jī)交互形式發(fā)展趨勢，其中讓機(jī)器理解的人類肢體語言最為有效。在各種肢體語言中最常見的就是手勢，它簡單而免費(fèi)，具有廣闊的應(yīng)用前景。而識別手勢則是以手勢為基礎(chǔ)的人機(jī)交互中環(huán)節(jié)中最重要的一項(xiàng)。它會識別先前提取的手勢特征[1]。目前手勢識別已經(jīng)有許多種方法，都各有其優(yōu)點(diǎn)和局限性。例如基于神經(jīng)網(wǎng)絡(luò)的識別方法，它分類識別能力較強(qiáng)，但神經(jīng)網(wǎng)絡(luò)層數(shù)較淺易造成過擬合；基于幾何特征的識別方法，它穩(wěn)定性好，但不能通過增加樣本量來提高識別率；基于隱馬爾可夫模型的識別方法，它可以描述手勢的時空變化，但識別速度很慢，達(dá)不到預(yù)期[2]。由于計算機(jī)視覺領(lǐng)域的深度學(xué)習(xí)和機(jī)器學(xué)習(xí)的快速發(fā)展，越來越多的研究者關(guān)注這些方面的學(xué)習(xí)方法。其中，深度神經(jīng)網(wǎng)絡(luò)的發(fā)展為手勢識別拓展了新的方向，它有局部連接，權(quán)重共享，特征自動提取等優(yōu)點(diǎn)。又由于手勢復(fù)雜的變化，提出一種基于深度卷積神經(jīng)網(wǎng)絡(luò)（CNN）和深度卷積生成對抗網(wǎng)絡(luò)（DCGAN）的手勢識別方法。收集數(shù)據(jù)時直接用電腦的攝像頭來完成。但由于光照會對采樣數(shù)據(jù)的質(zhì)量造成較明顯的影響。所以，為了獲得高質(zhì)量的樣品應(yīng)首先進(jìn)行光檢測。這里只需要調(diào)整光線強(qiáng)度、相機(jī)角度等方法。其次，實(shí)驗(yàn)過程中可能會產(chǎn)生過擬合的問題，通過使用DCGAN生成新的圖像來解決這一問題。最后，訓(xùn)練時用所有數(shù)據(jù)的5/6，而測試則用剩下全部數(shù)據(jù)。為了實(shí)現(xiàn)表情識別功能、計算和文本輸出，設(shè)計了兩個網(wǎng)絡(luò)結(jié)構(gòu)，它會根據(jù)任務(wù)不同的復(fù)雜程度調(diào)整網(wǎng)絡(luò)的深度和參數(shù)的數(shù)量。

有以下三大優(yōu)點(diǎn)：

（1）創(chuàng)新性。提出了一種基于CNN和DCGAN的手勢識別方法；

（2）真實(shí)性。通過實(shí)驗(yàn)可以發(fā)現(xiàn)新模型是實(shí)際有效的。它不僅可以有效地識別特定手勢的實(shí)際含義，還可以精準(zhǔn)地實(shí)現(xiàn)完全自動化；

（3）唯一有效性。如果樣本數(shù)量較少，可以且僅可以通過DCGAN解決過擬合的問題。如果照明條件不是特別的好，可以通過預(yù)處理有效地提高樣本的識別精度。

1 研究現(xiàn)狀與發(fā)展

1.1 手勢識別

近年來，人機(jī)交互的主流-虛擬現(xiàn)實(shí)正一步步滲透到人們的日常生活中。盡管目前人機(jī)交互輸入還沒有統(tǒng)一的方式，但可以預(yù)測未來人機(jī)交互輸入的主流方式是手勢，它主要分為兩種：接觸式和非接觸式。接觸式主要借助手套等外設(shè)，極大地限制了人機(jī)交互的靈活性，操作不便。而非接觸式主要基于視覺，操作者無需佩戴任何外設(shè)，更加自然舒適[3]。

特定的數(shù)據(jù)手套是早期手勢識別方法主要的工具。如Grime等[4]在上世紀(jì)80年代初首先使用帶有節(jié)點(diǎn)標(biāo)記的手套，它識別手勢主要通過手掌骨架。20世紀(jì)90年代，國內(nèi)外憑借外設(shè)準(zhǔn)確的定位優(yōu)勢研發(fā)了許多優(yōu)秀的系統(tǒng)。光學(xué)標(biāo)記方法也逐漸取代數(shù)據(jù)手套，在識別具體手勢中取得了良好的效果。由于人機(jī)交互中存在許多動態(tài)手勢，這導(dǎo)致了動態(tài)手勢的發(fā)展。東南大學(xué)包加桐等[5]采用了SURF特征跟蹤算法，跟蹤手部，并識別特定的動作，將其應(yīng)用于機(jī)器人指令集中。

在此期間，手勢識別主要依賴于外圍設(shè)備的局限性導(dǎo)致手勢交互的應(yīng)用非常有限。2010年，微軟發(fā)布了一款體感設(shè)備“Kinect”，它可以測量人體相距設(shè)備多遠(yuǎn)，還可以追蹤人體的運(yùn)動。從那時起，Kinect是許多手勢識別算法和系統(tǒng)的基礎(chǔ)。

同時，許多電子信息公司也涉及了手勢交互業(yè)務(wù)，并取得了不錯的成績。如三星在ES8000系列電視中利用了面部識別，語音識別和手勢識別，用來瀏覽網(wǎng)頁，遙控電視等[6]。同年，微軟利用多普勒效應(yīng)以及電腦自帶的揚(yáng)聲器和麥克風(fēng)定位目標(biāo)、識別手勢，并成功研發(fā)了手勢交互工具“SoundWave”[7]。后來又為實(shí)時跟蹤手部運(yùn)動研發(fā)了手勢識別工具“Handpose”[8]。

現(xiàn)階段，一些手勢算法和設(shè)備可以應(yīng)用到實(shí)際中。但是理論和應(yīng)用之間有差距，還存在許多問題，實(shí)際操作中也有很多限制。

1.2 神經(jīng)網(wǎng)絡(luò)

1959年，Hubel和Wiesel發(fā)現(xiàn)動物利用自身的視覺皮層細(xì)胞檢測光信號。Sei和Kunihiko基于此提出了neocognitron，它是CNN的前身[9]?？偨Y(jié)來說，卷積神經(jīng)網(wǎng)絡(luò)是受生物自然視覺識別機(jī)制啟發(fā)的一種深度學(xué)習(xí)架構(gòu)。

20世紀(jì)90年代，Lecun等[10]發(fā)表了一篇構(gòu)建CNN現(xiàn)代結(jié)構(gòu)的論文，并在后期進(jìn)行改進(jìn)。他們用一種多層人工神經(jīng)網(wǎng)絡(luò)（LeNet-5）來分類手寫數(shù)字。LeNet-5像其他神經(jīng)網(wǎng)絡(luò)一樣訓(xùn)練時采用反向傳播算法，并在這一方面取得了令人滿意的效果。但是CNN曾經(jīng)也一度陷入低潮，因?yàn)長eNet-5不擅長處理大規(guī)模的訓(xùn)練數(shù)據(jù)，難以應(yīng)對復(fù)雜問題，所以CNN需要得到更加廣泛深入的關(guān)注和研究。而隨著GPU加速器和大數(shù)據(jù)的發(fā)展，CNN的層數(shù)增多了，識別精度也隨之提高了。自2006年來，研究人員已經(jīng)設(shè)計了許多克服深度卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練困難的方法。AlexNet是其中最著名的一種[11]。它采用了CNN的經(jīng)典結(jié)構(gòu)，并在圖像識別方面進(jìn)行了突破。雖然它與LeNet-5整體結(jié)構(gòu)相似，但在層次上AlexNet的優(yōu)勢更多。

隨后，研究人員在AlexNet的基礎(chǔ)上設(shè)計了更好的分類模型，其中最著名的有4個：ZFNet[12]，VGGNet[13]，GoogleNet等[14-15]。從分類精度講，達(dá)到了更高的精度。從結(jié)構(gòu)講，CNN的層數(shù)也加深了。例如2015年ILSVRC冠軍ResNet在層數(shù)上是AlexNet的20倍，是VGGNet的8倍。網(wǎng)絡(luò)可以隨著層數(shù)的增加進(jìn)一步通推導(dǎo)出目標(biāo)函數(shù)的近似結(jié)構(gòu)，從而更好地刻畫特征，更好地獲得分類結(jié)果。

GAN是由Goodfellow等[16]受到在博弈論中雙人博弈的啟發(fā)而創(chuàng)發(fā)的。相對于其他方法，它們似乎能產(chǎn)生更清晰的圖像。而DCGAN在無監(jiān)督的學(xué)習(xí)生成式模型中引入卷積神經(jīng)網(wǎng)絡(luò)，改進(jìn)了網(wǎng)絡(luò)結(jié)構(gòu)，是GAN的擴(kuò)展[17]。

如今，各種各樣層出不窮的神經(jīng)網(wǎng)絡(luò)被廣泛應(yīng)用到各個領(lǐng)域。如用它來識別圖像、隱藏信息、處理自然語言[18]。神經(jīng)網(wǎng)絡(luò)不斷發(fā)展，極大地改善了生活水平。

2 表情識別

通過識別手勢輸出相應(yīng)的表情。實(shí)驗(yàn)時，收集了10個手勢，分別對應(yīng)10個表情。

2.1 實(shí)驗(yàn)數(shù)據(jù)設(shè)計

每個手勢采樣50×50大小的圖像1 200張。在訓(xùn)練集中要確保不會出現(xiàn)大批相同的圖像，調(diào)整手的位置來達(dá)到這個要求。收集了10個手勢，對應(yīng)的表情顯示在手勢上面，如圖1。每個手勢分別代表：好、擊掌、棒、差、確定、笑、哭、拳頭、狗和愛，分別對應(yīng)著1到10，會用這些數(shù)字進(jìn)行測試，輸出對應(yīng)的10個手勢。

圖1 手勢和表情的對比Fig.1 Comparison of gesture and expression

2.2 實(shí)驗(yàn)識別模型設(shè)計

訓(xùn)練識別模型時選擇更經(jīng)濟(jì)的像LeNet-5和AlexNet這樣的卷積神經(jīng)網(wǎng)絡(luò)，而不是像VGG和GoogLeNet這樣具有更強(qiáng)大分類功能但同時具有更多參數(shù)的模型。例如，盡管VGG網(wǎng)絡(luò)使用3×3卷積濾波器，但與AlexNet相比，參數(shù)數(shù)量仍然很大，增長訓(xùn)練時間。如果培訓(xùn)時僅在單個CPU上部署VGG19模型，那么一個epoch的培訓(xùn)將花費(fèi)8個多小時。顯然，使用這種模型是不切實(shí)際的。并且只對10個手勢的圖像進(jìn)行分類，不需要使用VGG16、GoogLeNet這樣的可以分類數(shù)千個圖像的模型。將通過調(diào)整AlexNet訓(xùn)練手勢識別模型。這里做了以下改變：

該模型包含6層。其中前4層是卷積層和池化層，最后2層是全連接層。

第一卷積層輸入尺寸為50×50×1的原始圖像。使用大小為5×5和深度為32的卷積濾波器，不使用全0填充，使用的激活函數(shù)是relu。第二層的卷積濾波器的大小為5×5，深度為64。它也不使用全0填充。使用的激活函數(shù)為S型。

池化層采用最大池化。第一個池化層使用大小為2×2，步長為2的過濾器。第二池化層使用大小為5×5，步長為5的過濾器。兩池化層都不使用完0填充。

卷積層和全連接層之間存在一個過渡層—Flat ten層，它將多維輸入一維化。第一個全連接層有1 024個輸出節(jié)點(diǎn)數(shù)。在第一次全連接層之后引入?yún)?shù)大小為0.6的Dropout方法來解決過擬合問題。第二個全連接層有1 024個輸入節(jié)點(diǎn)和10個輸出節(jié)點(diǎn)。最終預(yù)測時使用softmax函數(shù)，將輸出的值統(tǒng)一轉(zhuǎn)化成概率值。

2.3 實(shí)驗(yàn)

使用Adam優(yōu)化算法進(jìn)行優(yōu)化，使用默認(rèn)參數(shù)（keras：lr=0.001，beta_1=0.9，beta_2=0.999，epsilon=1e-08，decay=0.0）。在實(shí)驗(yàn)中有10個手勢，總共1 200×10=12 000張圖像，使用其中的10 000張圖像進(jìn)行訓(xùn)練，剩下的2 000張圖像進(jìn)行測試。將所有的圖像訓(xùn)練10個時期，每個時期包括10次迭代，批量大小為64，這樣可以定期保存訓(xùn)練模型。

2.4 實(shí)驗(yàn)結(jié)果與分析

對獲得的手勢識別模型進(jìn)行了實(shí)際測試。由于光照條件會影響測試結(jié)果，力求保持測試環(huán)境與采樣環(huán)境基本一致。為了使測試結(jié)果可視化，預(yù)測圖像的每一幀，并與實(shí)際的手勢進(jìn)行比較。每次測試開始時可能會因?yàn)槭謩轀?zhǔn)備不充分而出現(xiàn)誤判，所以使用11幀后的結(jié)果作為測試結(jié)果。這里將測試幀的總數(shù)記錄為“總幀數(shù)”，而正確的幀數(shù)記錄為“正確幀數(shù)”。那么，準(zhǔn)確性表達(dá)式為：

對10種手勢進(jìn)行了測試，獲得了平均識別準(zhǔn)確率達(dá)到90%以上的良好識別結(jié)果。同時得出數(shù)據(jù)集中不同的類別擁有不同的識別準(zhǔn)確性，像手勢“2”和“8”之類的在數(shù)據(jù)集中的識別性更強(qiáng)，幾乎100%識別。但是由于“1”和“7”手勢相似度高，手指運(yùn)動容易會對它們造成影響，所以精度相對較低。但總體而言，手勢識別的準(zhǔn)確性仍然很高。手勢識別的準(zhǔn)確率 如表1所示。

表1 與表情相對應(yīng)的手勢精度Table 1 Gesture accuracy corresponding to expression

3 計算和文本輸出

由于上述實(shí)驗(yàn)的成功，決定對計算和文本輸出任務(wù)使用相同的模型來增加任務(wù)復(fù)雜度并測試模型的可靠性和實(shí)用性。將計算和文本輸出這兩個任務(wù)合并為一個任務(wù)，通過選擇按鈕可以輕松地使用不同的功能。

3.1 實(shí)驗(yàn)數(shù)據(jù)設(shè)計

每個手勢采樣50×50大小的圖像1 200張。這次，由于收集訓(xùn)練數(shù)據(jù)時光照條件較差，圖像輪廓不是特別明顯，這可能會影響訓(xùn)練模型和最終的識別效果。因此，在收集訓(xùn)練集之前增加了光檢測，只需調(diào)整手的位置和攝像機(jī)的角度就能提高采樣效果，獲得更好的樣本數(shù)據(jù)，如圖2。同時使用DCGAN生成更加多樣可靠的樣本。以下為收集的10個手勢和手勢相對應(yīng)的數(shù)字，如圖3。

圖2 （左）圖像輪廓清晰；（右）圖像輪廓模糊Fig.2（Left）The outline of the image is clear；（Right）The outline of the image is dim

圖3 手勢和數(shù)字的比較Fig.3 Comparison of gestures and numbers

計算功能中，用手勢輸入一個數(shù)字，然后計算機(jī)會要求你用設(shè)備（這里使用鍵盤）輸入算術(shù)符號。最后，自動計算整個表達(dá)式的最終結(jié)果，并將其顯示在計算機(jī)屏幕上。各數(shù)字的含義分別為：0的含義為+；1的含義為-；2的含義為×；3的含義為÷；4的含義為■，表示平方根；5的含義為x2，它是數(shù)字x的平方；6的含義為x3，它是數(shù)字x的立方；7的含義為%，即數(shù)x的1÷100；8的含義為Mod，表示取余；9的含義為=。日常生活中，可以通過重復(fù)上述操作解決大多數(shù)的計算問題。

文本輸出功能中，一共有27個手勢。其中，26個手勢分別代表字母“A”至“Z”，第27個手勢代表空格，表示輸入完成。如圖4所示，第一層為字母，第二層為手語字母，第三層收集的手勢。

圖4 手勢和字母的比較Fig.4 Comparison of gestures and letters

3.2 實(shí)驗(yàn)?zāi)Ｐ驮O(shè)計

還在卷積神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上訓(xùn)練了手勢識別模型。這次，將37個手勢全部用于訓(xùn)練，包括10個數(shù)字，26個字母和一個確認(rèn)符。同時識別的難度也隨著手勢的3倍增加而增加了。將如下對網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行進(jìn)一步的調(diào)整。

該模型共有7層。前4層是卷積層和池化層，第5層是卷積層，最后2層是全連接層。

第一卷積層使用大小為2×2，深度為16的卷積濾波器。第二卷積層使用大小為5×5，深度為32的卷積濾波器。第三卷積層使用大小為5×5，深度為64的卷積濾波器。三層卷積層都不使用全0填充，都使用了激活函數(shù)relu。

第一個池化層使用大小為2×2，步長為2的過濾器。第二個池化層使用大小為5×5，步長為5的過濾器。且兩者都使用全0填充。

第一個全連接層有128個輸出節(jié)點(diǎn)數(shù)。在第一次全連接層之后引入?yún)?shù)大小為0.2的Dropout方法來解決過擬合問題。第二個全連接層有128個輸入節(jié)點(diǎn)和37個輸出節(jié)點(diǎn)。同樣的，最終預(yù)測時使用softmax函數(shù)，將輸出的值統(tǒng)一轉(zhuǎn)化成概率值。

3.3 實(shí)驗(yàn)

使用“SGD”作為優(yōu)化器，使用默認(rèn)參數(shù)，keras：lr=0.01，momentum=0.0，decay=0.0，nesterov=False。實(shí)驗(yàn)中共有37個手勢，有37×1 200=44 400個DCGAN生成的圖像。使用其中的37 000張圖像進(jìn)行訓(xùn)練，剩下的7 400張圖像進(jìn)行測試。由于訓(xùn)練樣本數(shù)量眾多，將所有的圖像訓(xùn)練20個時期，每個時期包括20次迭代，批量大小為500，這樣做的目的是定期保存訓(xùn)練模型。

3.4 實(shí)驗(yàn)結(jié)果與分析

在真實(shí)環(huán)境中對訓(xùn)練模型進(jìn)行實(shí)際測試。由于手勢識別的準(zhǔn)確性會較大程度上受光照影響，所以在相同的時間（8點(diǎn)）和地點(diǎn)（暗室中）下選擇兩種不同的光照條件測試模型，一種選擇僅有自然光，一種選擇功率為15 W白熾燈的人造光源下。分別測試計算函數(shù)Cal，文本輸出函數(shù)Text。計算問題都來自于網(wǎng)上搜索。當(dāng)預(yù)測結(jié)果出現(xiàn)連續(xù)的30幀相同時，屏幕上就將輸出數(shù)字或字母。那么這兩個函數(shù)的準(zhǔn)確性表達(dá)式為：

測試結(jié)果如表2所示。

表2 識別精度Table 2 Recognition accuracy

其中，“-”表示僅有自然光，“+”表示有人造光源。從實(shí)驗(yàn)結(jié)果中可以直觀地看出在自然光下，模型仍具有較高的識別精度。

選擇減少獲得預(yù)測結(jié)果所需的幀數(shù)來提高輸入效率。同時，選擇在人造光源下進(jìn)行測試，測試結(jié)果如圖5所示。

圖5 不同幀數(shù)下的準(zhǔn)確性Fig 5 Accuracy at different frame numbers

從30幀到20幀，識別速度提高了大約1倍，但準(zhǔn)確率僅下降了6%。從30幀到10幀，識別速度提高了約2倍，但準(zhǔn)確率僅降低了約10%。這表明模型幾乎可以實(shí)時識別并輸出，可以滿足人們?nèi)粘Ｉ钪械男枨蟆?/p>

為了進(jìn)一步確保測試結(jié)果的有效性，對未參與抽樣的人員進(jìn)行了測試，選擇了10個參與者，測試結(jié)果如圖6所示。使用CNN和CNN+DCGAN模型進(jìn)行測試，測試了計算函數(shù)，得到了識別的平均準(zhǔn)確率，這與之前的測試結(jié)果基本一致。這也表明模型具有廣泛的適應(yīng)性。從實(shí)驗(yàn)中還可以看出，CNN+DCGAN模型優(yōu)于CNN模型，這是因?yàn)镈CGAN生成的圖像更加多樣化，可以避免圖像由于日期集中導(dǎo)致過于相似而造成的過擬合問題。

圖6 參與者的平均準(zhǔn)確性Fig 6 Average accuracy of participants

4 結(jié)論

提出了一種基于CNN和DCGAN的手勢識別方法，并在實(shí)際環(huán)境中評估了提出的模型。實(shí)驗(yàn)結(jié)果表明，該模型可以取得良好的效果。首先，可以有效地識別特定手勢的實(shí)際含義，實(shí)現(xiàn)完全自動化，準(zhǔn)確性也很高；另外，可以使用DCGAN生成樣本有效地解決因在樣本中有大量相似圖像而造成的過擬合問題；此外，在照明條件不是特別好的狀態(tài)下，通過預(yù)處理可以有效地提高識別精度。接下來，將進(jìn)一步測試和改進(jìn)模型。

目前，該模型僅支持計算和文本輸出。未來可以添加更多手勢來增加功能，甚至可以使用手勢與他人玩游戲，聊天和發(fā)送電子郵件。同時，計劃通過增加訓(xùn)練數(shù)據(jù)和改變網(wǎng)絡(luò)結(jié)構(gòu)來進(jìn)一步優(yōu)化模型。

實(shí)驗(yàn)結(jié)果表明，基于CNN和DCGAN的手勢識別方法具有較高的精度，可以更多的在實(shí)際生活上應(yīng)用。