郭書杰

(大連東軟信息學(xué)院 智能與電子工程學(xué)院，遼寧 大連 116032)*

隨著科技的進步，日常生活中的各類電子設(shè)備越來越多，為了與這些設(shè)備進行高效的交流，人們研究出各種各樣的人機交互方法.作為一種肢體語言，手勢具有簡單、便捷的特點，它提供了一種有效的人機交互手段，特別是在AR和VR技術(shù)快速發(fā)展的今天，越來越多的設(shè)備開始使用手勢作為人機交互方式，手勢交互已經(jīng)被廣泛地應(yīng)用于汽車、消費電子產(chǎn)品、機器人、游戲、智能家庭、自動手語翻譯等諸多領(lǐng)域[1-3].精準(zhǔn)高效的手勢識別，是將手勢應(yīng)用于人機交互的關(guān)鍵，因此手勢識別技術(shù)是人機交互領(lǐng)域的一個重要研究方向，研究者提出了多種解決方案，大概可以分為基于傳感器的方法和基于機器視覺的方法兩種.王龍等[4]提出了一種結(jié)合膚色模型和卷積神經(jīng)網(wǎng)絡(luò)的手勢識別方法.Oyebade等[5]提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)的手勢識別方法.彭玉青等[6]通過改進YOLO算法提出了一種基于深度學(xué)習(xí)的手勢識別算法HGDR-Net.彭理仁[7]等提出了一種基于深度圖像進行靜態(tài)手勢識別的方法.這些基于深度學(xué)習(xí)的手勢識別方法大多是對原始圖像直接進行手勢識別，或者是結(jié)合膚色模型對圖片進行簡單的預(yù)處理，當(dāng)圖像中手所處的背景相對復(fù)雜時，特別是與人臉、手臂等裸露皮膚的部分有重疊時，算法的識別率就會降低；同時，這些算法所采用的神經(jīng)網(wǎng)絡(luò)模型也比較復(fù)雜，訓(xùn)練成本較高，實時性能稍差.為了解決這些問題，提出了一種手勢識別方案，方案通過對圖像的預(yù)處理，在一定程度上屏蔽了裸露的皮膚對識別結(jié)果的影響；同時對AlexNet網(wǎng)絡(luò)做了增加批標(biāo)準(zhǔn)化操作的改進，從而提高了模型的優(yōu)化效率.

1 基于CNN的復(fù)雜背景手勢識別方案

1.1 手勢識別問題的特點

與其他圖像分類問題比較起來，手勢識別問題具有以下特點：

(1)不關(guān)注圖片的顏色：由于手勢識別的重點是手型的輪廓，所以無需關(guān)注圖片的顏色，使用灰度圖像就足以求解.

(2)硬件性能相對較弱：使用手勢識別作為人機交互手段的設(shè)備，一般都是硬件性能相對較弱的嵌入式系統(tǒng)，這就要求手勢識別方案要具有較高的執(zhí)行效率，因此算法要具有較少的內(nèi)存訪問消耗(memory access cost 簡寫為 MAC)和較低的算量(float-point operations，簡寫為FLOPs)

1.2 基于CNN的手勢識別方案

針對手勢識別問題的上述特點，制定了基于CNN的手勢識別方案.方案選用改進的AlexNet模型作為手勢識別的卷積神經(jīng)網(wǎng)絡(luò).AlexNet是由Krizhevsky等[8]提出的輕量級CNN網(wǎng)絡(luò)，AlexNet的結(jié)構(gòu)相對簡單，對硬件性能的要求不高；同時在圖像識別領(lǐng)域，AlexNet也具有非常好的表現(xiàn).然而由于AlexNet采用非線性激活函數(shù)，隨著訓(xùn)練的進行，可能會出現(xiàn)神經(jīng)元死亡的情況，進而改變數(shù)據(jù)的分布.為了能夠更好地解決手勢識別問題，對AlexNet進行了兩個方面的改進.一是對網(wǎng)絡(luò)結(jié)構(gòu)進行優(yōu)化，增加了三個批標(biāo)準(zhǔn)化(Batch Normalization)操作；二是通過對比實驗對網(wǎng)絡(luò)的超參數(shù)進行了優(yōu)化選擇.

在對改進的AlexNet網(wǎng)絡(luò)進行模型訓(xùn)練之前，首先對數(shù)據(jù)集中的圖片進行統(tǒng)一規(guī)格、邊緣提取等預(yù)處理，從而屏蔽臉部、手臂等裸露皮膚對識別結(jié)果的影響；然后使用預(yù)處理后的數(shù)據(jù)集對改進的AlexNet進行訓(xùn)練并導(dǎo)出訓(xùn)練好的模型參數(shù)；最后使用訓(xùn)練好的網(wǎng)絡(luò)進行手勢識別.方案的具體流程如圖1所示.

1.3 數(shù)據(jù)集

為了對深度學(xué)習(xí)模型進行訓(xùn)練和測試，需要大量的包含各種手勢的圖片作為數(shù)據(jù)集.數(shù)據(jù)集的大小決定了訓(xùn)練出來的模型的識別準(zhǔn)確率，為了保證訓(xùn)練出來的模型的識別性能，需要有足夠大的數(shù)據(jù)集.本文用到的數(shù)據(jù)集有兩部分：NUS-II 數(shù)據(jù)集[9]和自己采集的數(shù)據(jù)集.NUS-II 數(shù)據(jù)集共有2750張復(fù)雜背景手勢圖片，實驗結(jié)果顯示，該數(shù)據(jù)集的圖片數(shù)量過少，很難解決模型的過擬合問題，為此又采集了13796張手勢圖片對數(shù)據(jù)集進行了擴容.數(shù)據(jù)集中的部分圖片如圖2(a)和2(b)所示.

1.4 數(shù)據(jù)集預(yù)處理

為了降低MAC和FLOPs，根據(jù)手勢識別問題對數(shù)據(jù)集中的圖片做了如下處理.

(1)統(tǒng)一圖片的尺寸.為了便于深度學(xué)習(xí)模型在訓(xùn)練和測試中使用，將數(shù)據(jù)集中的圖片統(tǒng)一轉(zhuǎn)換為200×200;

(2)對圖像進行邊緣提取.在進行手勢識別時，關(guān)注的重點是手的輪廓，為了降低計算量，在進行模型訓(xùn)練之前，對數(shù)據(jù)集中的圖片進行了邊緣提取.常用的邊緣提取濾波有三種，Sobel算子、Laplacian算子和Canny算子，有通過對比他們的邊緣提取效果，最終選擇使用Sobel算子是一種邊緣提取濾波器.邊緣提取效果如圖3所示.

1.5 深度學(xué)習(xí)網(wǎng)絡(luò)選擇及改進

在進行模型選擇時，一般要遵從夠用即可的原則，為了能夠找到適合問題求解的簡單模型，使用Python編寫了自定義的3層卷積神經(jīng)網(wǎng)絡(luò)、LeNet-5和AlexNet三種模型分別進行了測試.測試時，對三種模型，分別使用相同的數(shù)據(jù)集和相同的損失函數(shù)、激活函數(shù)、優(yōu)化器等超參數(shù)配置.每種模型分別進行了15期訓(xùn)練，通過對比每種模型在測試數(shù)據(jù)集上的識別準(zhǔn)確率來評價模型的優(yōu)劣.測試結(jié)果如圖4所示.

由圖4不難看出，三種復(fù)雜度相近的深度學(xué)習(xí)模型中，AlexNet模型具有最好的優(yōu)化能力，并且經(jīng)過15期的訓(xùn)練就能達到超過90%的識別正確率，所以選擇該模型來進行手勢識別.

由于深度神經(jīng)網(wǎng)絡(luò)需要用到多層的疊加處理，每一層參數(shù)的更新往往會導(dǎo)致上層的輸入數(shù)據(jù)的分布發(fā)生變化，隨著疊加層數(shù)的增加，高層的輸入分布會發(fā)生非常劇烈的變化，這就使得高層需要不斷的更新以便適應(yīng)底層的數(shù)據(jù)變化，從而降低了學(xué)習(xí)速度.同時，這也可能導(dǎo)致模型落入飽和區(qū)，使得學(xué)習(xí)過早停止.另外，由于每層的更新都可能會對其他層產(chǎn)生影響，因此很難制定每層的參數(shù)更新策略.批標(biāo)準(zhǔn)化操作可以有效防止模型梯度爆炸或彌散，能夠讓大部分的激活函數(shù)遠(yuǎn)離飽和區(qū)域，可以提模型對于各個超參的魯棒性.從圖4可以看出，AlexNet同樣具有容易導(dǎo)致梯度消失、模型優(yōu)化過程進展緩慢，從而使得分類準(zhǔn)確保持在某一值附近不能再提高的問題.為了解決這一問題，對AlexNet網(wǎng)絡(luò)進行了結(jié)構(gòu)優(yōu)化，在其第3、4、5個卷積層中，也加入了批標(biāo)準(zhǔn)化操作來降低數(shù)據(jù)的分布的改變帶來的影響，進而提高算法的優(yōu)化效率.改進前后模型的性能對比如圖5所示.

由圖5可以看出，改進模型具有更好的持續(xù)優(yōu)化能力，能夠使得識別準(zhǔn)確率持續(xù)提高.最終結(jié)果顯示，與經(jīng)典AlexNet模型相比，改進模型能夠?qū)⑹謩葑R別的準(zhǔn)確率提高4%左右.

1.6 深度學(xué)習(xí)網(wǎng)絡(luò)超參數(shù)的設(shè)置

超參數(shù)是深度學(xué)習(xí)中的一個重要概念，它是指那些在開始對模型進行訓(xùn)練之前，需要人為設(shè)置參數(shù)值的參數(shù).超參數(shù)的設(shè)置，對一個深度學(xué)習(xí)模型的性能具有很大影響.所以尋找一組合適的超參數(shù)是建立一個深度學(xué)習(xí)模型的關(guān)鍵步驟之一.根據(jù)Mishkin D等[10]的研究結(jié)果，選取激活函數(shù)、池化操作、Batch size和數(shù)據(jù)集大小等四個超參數(shù)作為研究對象，通過對比實驗，以他們在測試數(shù)據(jù)集上的識別準(zhǔn)確率給標(biāo)準(zhǔn)，考察了他們對模型性能的影響.在進行實驗時，為了減少運算時間，除了“數(shù)據(jù)集對模型性能的影響”外，其他實驗均采用5070個圖片的小數(shù)據(jù)將進行.各個參數(shù)對模型性能的影響如圖6(a)～圖6(d)所示.

由實驗結(jié)果不難看出，由于加入了更多的批標(biāo)準(zhǔn)化操作的，更好地發(fā)揮了ReLU激活函數(shù)的性能；Batch size和數(shù)據(jù)集的大小對模型的性能具有比較明顯的影響，不同池化操作對算法性能的影響并不明顯.根據(jù)上述實驗結(jié)果可以，選擇以下超參數(shù)配置方案.激活函數(shù)選ReLU；Batch size設(shè)置為32；選用MaxPool池化操作；數(shù)據(jù)集中的圖片數(shù)量選在1.6萬張.

1.7 使用模型進行手勢識別

有兩種方式可以使用訓(xùn)練好的模型進行手勢識別，一個是通過攝像設(shè)備實時采集圖像并識別；另一種是對給定的圖片進行識別.不管是使用哪種方式，都會首先使用1.3節(jié)說描述的方法對待識別的圖像進行預(yù)處理，然后在用訓(xùn)練好的模型來進行手勢識別.

2 實驗及結(jié)果分析

為了驗證方案的可行性，使用python編程實現(xiàn)了改進AlexNet模型，按照1.5節(jié)中的超參數(shù)配置方案配置模型，并使用擴容后的NUS-II 數(shù)據(jù)集(共有16546張圖片)對模型進行了100期的訓(xùn)練.然后使用自己編寫的基于OpenCV的圖像采集程序，采集了三個人的手勢圖片，并從中隨機選出100張來對訓(xùn)練好的模型進行驗證測試.測試中正確識別了93張圖片，5張圖片未能識別出結(jié)果，2張圖片識別錯誤.未能識別出結(jié)果的圖片可能是因為進行采集時，被采集人離攝像頭較遠(yuǎn)，采集出的圖片中人手部分顯得特別小.識別錯誤的圖片主要是兩個背景比較復(fù)雜的手勢，手勢C和手勢H.

3 結(jié)論

使用改進后的AlexNet模型進行手勢識別時，能夠達到約93%的識別準(zhǔn)確率.但是識別結(jié)果仍然受圖像背景以及手勢占全圖的百分比的影響，當(dāng)背景過于復(fù)雜或手勢占比較小時，識別不出結(jié)果或識別錯誤的概率就會增大.在下一步工作中，可以先檢測并標(biāo)記圖片中手的位置，然后對手勢所在部分進行歸一化后，再做識別.