，

(安徽工程大學 電氣工程學院，安徽 蕪湖 241000)

近年來，隨著計算機視覺和機器學習等相關(guān)學科的發(fā)展,基于視覺的人機交互技術(shù)逐漸成為研究熱點，研究者們對人臉、表情、手勢等交互信息進行了大量的研究.區(qū)別于其他的交互方式，手勢具有直觀、靈活、多樣的特點，因此手勢識別逐漸成為研究熱點[1].手勢識別主要分為動態(tài)和靜態(tài)手勢識別，研究主要對靜態(tài)手勢識別進行研究.傳統(tǒng)靜態(tài)手勢識別算法的關(guān)鍵在于手勢特征的提取.楊麗[2]等結(jié)合RGB和HSV顏色空間對手勢進行分割，提取Hu矩和手指個數(shù)描述輪廓，然后通過ELM前饋神經(jīng)網(wǎng)絡(luò)進行訓練識別.薛俊韜[3]等在YCbCr空間下對手勢進行分割，提取Hu矩，并結(jié)合傅里葉描述子得出所需特征，再通過BP神經(jīng)網(wǎng)絡(luò)進行訓練識別.以上兩種算法都能快速地識別出手勢，但是手勢的分割效果對識別率影響較大.呂蕾[4]等基于數(shù)據(jù)手套，改善了手勢特征提取和特征點匹配的方法，提高了數(shù)據(jù)手套手勢識別的準確率和識別速度，但在手勢類別增多的情況下識別率下降.蔡芝蔚[5]等利用SVM算法提取手勢特征，然后結(jié)合ANN、HMM以及DTW算法對手勢進行識別，取得了較高的識別率，但該組合算法的運算速度較慢，不適合實時系統(tǒng).近年來，微軟推出的Kinect深度相機可以捕捉圖像的深度信息，為人機交互信息研究者們提供了新的研究思路[6-8].

卷積神經(jīng)網(wǎng)絡(luò)是一種深度神經(jīng)網(wǎng)絡(luò).作為深度學習的一個重要分支，卷積神經(jīng)網(wǎng)絡(luò)近年來已經(jīng)成為圖像和語音識別領(lǐng)域的研究熱點.區(qū)別于傳統(tǒng)人工神經(jīng)網(wǎng)絡(luò)，卷積神經(jīng)網(wǎng)絡(luò)擁有較多的網(wǎng)絡(luò)層數(shù)，卷積層的神經(jīng)元能從前一層輸入中提取更高層次的特征，得出特征圖，并通過池化層進行降維，減少數(shù)據(jù)冗余，最后通過全連接層和分類器進行分類識別.權(quán)值共享是卷積神經(jīng)網(wǎng)絡(luò)的一大特點，通過權(quán)值共享，網(wǎng)絡(luò)的復雜程度大大降低，減少了網(wǎng)絡(luò)的權(quán)值數(shù)量，也就使得訓練網(wǎng)絡(luò)時的運算量大大降低.這一優(yōu)點特別適用于多維圖像作為樣本輸入的網(wǎng)絡(luò)訓練.圖像可以直接輸入，省去了傳統(tǒng)識別算法中手動提取特征的復雜操作.目前卷積神經(jīng)網(wǎng)絡(luò)已成功運用于人臉識別[9-10]、目標檢測[11]等領(lǐng)域，在手勢識別領(lǐng)域也逐漸興起.蔡娟[12]等通過卷積神經(jīng)網(wǎng)絡(luò)訓練出的模型取得了不錯的手勢識別效果.操小文[13]等通過引入噪聲驗證了其網(wǎng)絡(luò)結(jié)構(gòu)的魯棒性.不足之處在于上述兩者的研究選取的訓練樣本背景較為單一，在復雜背景下的效果無法得到驗證.研究提出的基于卷積神經(jīng)網(wǎng)絡(luò)的手勢識別方法，相較于文獻[9]用于人臉識別的卷積神經(jīng)網(wǎng)絡(luò)，提升了網(wǎng)絡(luò)卷積層和池化層的層數(shù)，以求得到更好的高維圖像特征，區(qū)別于文獻[12]、文獻[13],選取了復雜背景下0到5共6類手勢樣本進行訓練和測試.

1 卷積神經(jīng)網(wǎng)絡(luò)

2006年Hinton[14]在科學雜志上發(fā)表了一篇使用多層神經(jīng)網(wǎng)絡(luò)實現(xiàn)數(shù)據(jù)降維的文章，引發(fā)了研究者們對深度學習的廣泛關(guān)注，深度學習逐漸成為機器學習研究的新領(lǐng)域[15].深度學習實質(zhì)上是對擁有深層結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)模型進行訓練的一類方法的總稱.相對于SVM、MLP等淺層結(jié)構(gòu)算法，深度學習在處理內(nèi)部復雜的數(shù)據(jù)時具有更好的表現(xiàn).深層結(jié)構(gòu)模型能夠通過隱含層逐級地提取和表示特征.當輸入數(shù)據(jù)內(nèi)部比較復雜且具有高度非線性關(guān)系時，深層結(jié)構(gòu)模型比淺層結(jié)構(gòu)模型更能準確地表現(xiàn)出數(shù)據(jù)的內(nèi)部特征[16].目前主流的深度學習模型主要包括自動編碼器、稀疏編碼、深度置信網(wǎng)絡(luò)(DBN)、限制性玻爾茲曼機(RBM)和卷積神經(jīng)網(wǎng)絡(luò)(CNN).研究主要基于卷積神經(jīng)網(wǎng)絡(luò).典型的卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)主要包含卷積層、池化層、全連接層和Softmax回歸層.

1.1 卷積層

卷積層是卷積神經(jīng)網(wǎng)絡(luò)核心的層結(jié)構(gòu)，通過卷積層提取圖像特征圖的好壞直接影響到后續(xù)層的處理.卷積層主要通過卷積核與輸入的二維圖像數(shù)據(jù)進行局部連接，得出圖像數(shù)據(jù)的局部特征，并通過權(quán)值共享的方式得出特征圖.卷積層上的每個神經(jīng)元通過卷積核與前一層特征圖的局部區(qū)域(局部感受野)相連接，卷積核的作用就是提取局部區(qū)域的特征，一旦該局部特征被提取后，通過卷積核在前一層特征圖上滑動，遍歷所有區(qū)域，每個局部區(qū)域的特征也就確定了.權(quán)值共享指的是卷積層中的每個神經(jīng)元用一組相同的連接權(quán)值參數(shù)與前一層局部連接，即用同一個卷積核去卷積前一層的圖像，這樣網(wǎng)絡(luò)訓練時的權(quán)值參數(shù)就減少了.選用不同的卷積核分別遍歷卷積前一層的特征圖，加上偏置，通過激活函數(shù)得出當前神經(jīng)元，就構(gòu)成不同的特征圖.

卷積層卷積示意圖如圖1所示.卷積層的計算公式可表示為：

(1)

圖1 卷積層卷積示意圖

1.2 池化層

池化層又稱為下采樣層，該層往往跟隨卷積層，在卷積層之后.卷積層層數(shù)的增加會導致特征圖的個數(shù)隨之增加，因此學習到的特征維數(shù)也會快速增加，池化層的作用就是降低卷積后特征圖的特征維數(shù)，以降低網(wǎng)絡(luò)的復雜度，減少計算量.

根據(jù)不同的需求，池化層有不同的池化方式.最大池化和均值池化是最常見的兩種池化方式.假設(shè)采樣大小為2×2，即將卷積層輸入的特征圖分割成2×2的小塊，那么最大池化操作即提取每個小塊中最大的值，組成新的特征.均值池化操作即取小塊中參數(shù)的均值.通過池化操作，若圖像稍有偏移，池化結(jié)果不會隨之改變，因此也提升了系統(tǒng)的魯棒性.池化的一般表達式為：

(2)

式中，l表示當前層數(shù)；j表示第j個特征圖；down(g)表示池化函數(shù).

1.3 全連接層

全連接層實際上也是一種卷積層，但區(qū)別于卷積層的局部連接，全連接層中每個神經(jīng)元與前一層所有神經(jīng)元相連接，但該層神經(jīng)元之間不相互連接.全連接的一個作用是維度變換，把前一層的高維矩陣數(shù)據(jù)變換成低維矩陣，提取和整合有鑒別能力的特征.另一個作用是隱含語義的表達，把原始特征映射到各個隱語義節(jié)點.全連接層的一般表達式為：

(3)

1.4 Softmax回歸層

Softmax回歸層一般接在全連接層之后,作為卷積神經(jīng)網(wǎng)絡(luò)的最后一層輸出分類.Softmax回歸分析是logistic回歸分析在多個分類問題上面的發(fā)展.在卷積神經(jīng)網(wǎng)絡(luò)中，Softmax分類器用于對樣本種類進行概率判斷，選取輸出值最大的神經(jīng)元所對應(yīng)的類別作為分類結(jié)果.

2 用于手勢識別的卷積神經(jīng)網(wǎng)絡(luò)

2.1 網(wǎng)絡(luò)設(shè)計

提出一種用于手勢識別的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，如圖2所示.不包含輸入，該卷積神經(jīng)網(wǎng)絡(luò)共有8層，其中包含3個卷積層，3個池化層，1個全連接層和1個Softmax回歸層.網(wǎng)絡(luò)輸入為224×224的手勢像素矩陣，卷積層1卷積核大小為5×5，卷積核數(shù)量為32個，得出32個特征圖.池化層1的采樣大小為2×2不重疊采樣，與卷積層1相對應(yīng)，得出32個特征圖.類似的，卷積層2、卷積層3卷積核大小都為5×5，卷積核數(shù)量變?yōu)?4，池化層2、池化層3與之對應(yīng).全連接層的神經(jīng)元個數(shù)設(shè)置為500個，與池化層3進行全連接.全連接層后接Softmax回歸層含有6個神經(jīng)元，對全連接層輸出的特征進行分類，得出0到5共6種手勢.

圖2 用于手勢識別的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

2.2 網(wǎng)絡(luò)參數(shù)訓練

卷積神經(jīng)網(wǎng)絡(luò)本質(zhì)上是通過大量樣本訓練得出輸入輸出之間的映射關(guān)系，是一種有監(jiān)督訓練，在開始訓練前，用一些不同的小隨機數(shù)對網(wǎng)絡(luò)的所有權(quán)值進行初始化.卷積神經(jīng)網(wǎng)絡(luò)的訓練過程一般經(jīng)歷兩個階段：前向傳播階段和反向傳播階段.

f(x)=max(x,0),

(4)

通過前向傳播得出網(wǎng)絡(luò)的代價函數(shù)(Loss function)：

(5)

式中，n為訓練樣本總數(shù)；xi為當前訓練樣本；y=y(xi)是訓練樣本對應(yīng)的目標輸出.l表示網(wǎng)絡(luò)層數(shù)，al=al(xi)是當xi為輸入時網(wǎng)絡(luò)輸出的激活值向量.

3 實驗結(jié)果及分析

3.1 實驗基礎(chǔ)

實驗基于Windows平臺，在開源深度學習框架Caffe上進行.采用純CPU模式進行訓練，CPU為Intel Core i7-3610QM，主頻2.3 GHz，內(nèi)存4 GB.由于目前統(tǒng)一的手勢庫較少，實驗采集了復雜背景環(huán)境下0到5共6種手勢，如圖3所示.訓練集每種500張，共計3 600張手勢樣本.測試集每種100張共計600張手勢樣本.訓練前對樣本進行歸一化和灰度處理.

圖3 手勢類別樣例

3.2 不同梯度優(yōu)化策略對網(wǎng)絡(luò)的影響

將預(yù)處理后的手勢樣本作為輸入數(shù)據(jù)，采用研究設(shè)計的8層卷積神經(jīng)網(wǎng)絡(luò)進行訓練.選取隨機梯度下降法(SGD)和AdaDelta梯度下降法兩種不同的梯度優(yōu)化策略，對輸入的樣本分別進行5 000次的迭代訓練.訓練過程中代價函數(shù)隨迭代次數(shù)變化情況如圖4所示.兩種不同梯度優(yōu)化策略訓練出的模型對測試集的識別率如表1所示.由表1與圖4可以看出，相同條件下，選用兩種梯度優(yōu)化策略在迭代訓練1 800次左右時代價函數(shù)都能下降到很小的值，但分別經(jīng)過5 000次迭代后選用AdaDelta梯度下降法訓練出的模型對測試集手勢識別效果更好.

3.3 全連接層神經(jīng)元個數(shù)對網(wǎng)絡(luò)的影響

將預(yù)處理后的手勢樣本作為輸入數(shù)據(jù)，采用研究中設(shè)計的8層卷積神經(jīng)網(wǎng)絡(luò)進行訓練.選用AdaDelta梯度下降法，將原本網(wǎng)絡(luò)中全連接層500個神經(jīng)元提升到800和1 000，各自迭代訓練5 000次.訓練過程中代價函數(shù)歲迭代次數(shù)的變化情況如圖5所示.全連接層不同神經(jīng)元個數(shù)訓練出的模型對測試集的正確識別率如表2所示.由表2與圖5可以看出，選用AdaDelta梯度下降法，相同條件下，改變?nèi)B接層神經(jīng)元個數(shù)后代價函數(shù)值下降速度有所變化，當全連接層神經(jīng)元個數(shù)為1 000個時下降速度最快.然而迭代訓練5 000次后，測試集的正確識別率并沒有提升，反而是神經(jīng)元個數(shù)為500時識別率最高，由此可見，增加全連接層神經(jīng)元個數(shù)一定程度上能夠提升訓練速度，但并不是越多越好.

表1兩種不同梯度優(yōu)化策略訓練出模型的手勢識別率

策略測試集識別率/%SGD92.67%AdaDelta98.50%

表2全連接層神經(jīng)元個數(shù)改變后的手勢識別率對比

策略測試集識別率/%全連接層神經(jīng)元個數(shù)測試集識別率/%50098.50%80096.67%100097.00%

圖4 不同梯度優(yōu)化策略代價函數(shù)隨迭代次數(shù)變化情況圖5 改變?nèi)B接層神經(jīng)元個數(shù)后代價函數(shù)變化情況

4 結(jié)論

研究設(shè)計了一個8層的卷積神經(jīng)網(wǎng)絡(luò)用于手勢識別，通過SGD和AdaDelta兩種梯度優(yōu)化策略下訓練出的模型在手勢測試集上分別取得了92.67%和98.50%的正確識別率.通過改變?nèi)B接層的神經(jīng)元個數(shù)，得出研究設(shè)計的卷積神經(jīng)網(wǎng)絡(luò)在全連接層神經(jīng)元個數(shù)為500個時，能取得較好的識別率，而且采集的手勢樣本皆是復雜背景下的手勢，因此通過研究中設(shè)計的網(wǎng)絡(luò)訓練出的模型具有較強的魯棒性.同時，由于本次實驗在純CPU模式下進行，訓練模型所需時間相對較長，后續(xù)研究工作將進一步優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)，提升訓練速度和識別率.

[1] 易靖國,程江華,庫錫樹.視覺手勢識別綜述[J].計算機科學,2016，43(S1):103-108.

[2] 楊麗,胡桂明,黃東芳,等.結(jié)合膚色分割和ELM算法的靜態(tài)手勢識別[J].廣西大學學報：自然科學版,2015，40(2):444-450.

[3] 薛俊韜,縱蘊瑞,楊正瓴.基于改進的YCbCr空間及多特征融合的手勢識別[J].計算機應(yīng)用與軟件,2016，33(1):151-155.

[4] 呂蕾,張金玲,朱英杰,等.一種基于數(shù)據(jù)手套的靜態(tài)手勢識別方法[J].計算機輔助設(shè)計與圖形學學報,2015，27(12):2 410-2 418.

[5] 蔡芝蔚,吳淑燕,宋俊鋒.基于SVM和組合優(yōu)化模型的手勢識別[J].系統(tǒng)仿真學報,2016，28(8):1 812-1 817.

[6] Y LI. Hand gesture recognition using kinect[C]//2012 IEEE 3rd International Conference on Software Engineering and Service Science (ICSESS 2012),Washington:IEEE Computer Society,2012:196-199.

[7] 談家譜,徐文勝.基于Kinect的指尖檢測與手勢識別方法[J].計算機應(yīng)用,2015,35(6):1 795-1 800.

[8] 楊勇,葉梅樹.基于Kinect的中國手語識別[J].重慶郵電大學學報:自然科學版,2013,25(6):834-841,849.

[9] 陳耀丹,王連明.基于卷積神經(jīng)網(wǎng)絡(luò)的人臉識別方法[J].東北師大學報:自然科學版,2016,48(2):70-76.

[10] S AHMAD RADZI,K H MOHAMAD,S S LIEW,et al.Convolutional neural network for face recognition with pose and illumination variation[J].International Journal of Engineering and Technology(IJET),2014,6(1):44-57.

[11] 周俊宇，趙艷明.卷積神經(jīng)網(wǎng)絡(luò)在圖像分類和目標檢測應(yīng)用綜述[J].計算機工程與應(yīng)用，2017，53(13)：34-41.

[12] 蔡娟,蔡堅勇,廖曉東,等.基于卷積神經(jīng)網(wǎng)絡(luò)的手勢識別初探[J].計算機系統(tǒng)應(yīng)用,2015,24(4):113-117.

[13] 操小文,薄華.基于卷積神經(jīng)網(wǎng)絡(luò)的手勢識別研究[J].微型機與應(yīng)用,2016,35(9):55-57,61.

[14] G E HINTON,R R SALAKHUTDINOV.Reducing the dimensionality of data with neural networks[J].Science,2006,313(5 786):504-507.

[15] 張建明,詹智財,成科揚,等.深度學習的研究與發(fā)展[J].江蘇大學學報:自然科學版,2015，30(2):191-200.

[16] 盧官明,何嘉利,閆靜杰,等.一種用于人臉表情識別的卷積神經(jīng)網(wǎng)絡(luò)[J].南京郵電大學學報：自然科學版,2016，36(1):16-22.