張 斌，孫旭飛，吳一鵬

(福州大學(xué) 物理與信息工程學(xué)院，福建 福州 350108)

基于卷積神經(jīng)網(wǎng)絡(luò)的手勢(shì)識(shí)別算法設(shè)計(jì)與實(shí)現(xiàn)

張 斌，孫旭飛，吳一鵬

(福州大學(xué) 物理與信息工程學(xué)院，福建 福州 350108)

為了克服傳統(tǒng)手勢(shì)識(shí)別方法復(fù)雜的人工提取特征值操作，引入卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行手勢(shì)識(shí)別，該算法可以直接對(duì)原始圖像進(jìn)行處理，具有局部感知域、權(quán)值共享和池化等特點(diǎn)，可以有效提取圖像特征。使用Marcel手勢(shì)識(shí)別數(shù)據(jù)集對(duì)框架進(jìn)行訓(xùn)練，采用交叉驗(yàn)證的方法對(duì)系統(tǒng)進(jìn)行評(píng)估，實(shí)驗(yàn)結(jié)果表明該方法可以識(shí)別經(jīng)過(guò)訓(xùn)練的手勢(shì)，且精確度高，魯棒性強(qiáng)。

卷積神經(jīng)網(wǎng)絡(luò)；局部感受域；權(quán)值共享；池化；手勢(shì)識(shí)別

0 引言

近年來(lái)，人機(jī)交互行為越來(lái)越多地出現(xiàn)在日常生活中，特別是隨著計(jì)算機(jī)視覺技術(shù)的快速發(fā)展，人機(jī)交互技術(shù)得到長(zhǎng)足的進(jìn)步。按照目前的發(fā)展趨勢(shì)，以人為中心的人機(jī)交互技術(shù)勢(shì)必會(huì)取代以計(jì)算機(jī)為中心的人機(jī)交互技術(shù)[1]。而手勢(shì)識(shí)別的研究正符合這一潮流。手勢(shì)識(shí)別為許多設(shè)備提供了人機(jī)交互的方式。采用手勢(shì)操作設(shè)備，首先需要預(yù)設(shè)手勢(shì)對(duì)應(yīng)的控制指令，然后利用拍照、視頻切割等方法，采集不同的手勢(shì)，最后設(shè)備識(shí)別出手勢(shì)所代表的指令，控制設(shè)備從而達(dá)到人機(jī)交互[2]。傳統(tǒng)的手勢(shì)識(shí)別方法[3-4]需要人工提取特征值，這是一個(gè)費(fèi)時(shí)費(fèi)力的方法，為了達(dá)到更好的精度需要提取大量的特征值，甚至需要依賴專業(yè)知識(shí)，因此特征值的數(shù)量和質(zhì)量成為了傳統(tǒng)手勢(shì)識(shí)別方法的瓶頸。為了突破該瓶頸，本文提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)的手勢(shì)識(shí)別算法。

卷積神經(jīng)網(wǎng)絡(luò)是一種常見的深度學(xué)習(xí)架構(gòu)，受生物自然視覺認(rèn)知機(jī)制啟發(fā)而來(lái)，經(jīng)過(guò)不斷的發(fā)展改進(jìn)，最終發(fā)展成為一個(gè)非常適合用于處理圖像和音頻的神經(jīng)網(wǎng)絡(luò)[5]。由于卷積神經(jīng)網(wǎng)絡(luò)可直接從原始圖像數(shù)據(jù)中提取特征的特性，目前它的運(yùn)用領(lǐng)域已經(jīng)十分廣泛，比如手寫字符識(shí)別、人臉識(shí)別、人眼檢測(cè)[6]、車牌字符識(shí)別[7]。

1 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)是神經(jīng)網(wǎng)絡(luò)的一種，它的結(jié)構(gòu)與之前其他神經(jīng)網(wǎng)絡(luò)最大的不同在于它每一層的數(shù)據(jù)不是由若干個(gè)向量節(jié)點(diǎn)構(gòu)成，而是由若干個(gè)矩陣數(shù)據(jù)節(jié)點(diǎn)構(gòu)成。在計(jì)算時(shí)采用的是矩陣卷積的形式，所以命名為卷積神經(jīng)網(wǎng)絡(luò)。卷積神經(jīng)網(wǎng)絡(luò)主要用于識(shí)別位移、縮放及旋轉(zhuǎn)不變性的二維數(shù)據(jù)[8]，且它的局部感知特性和權(quán)值共享網(wǎng)絡(luò)與現(xiàn)實(shí)世界中的動(dòng)物神經(jīng)網(wǎng)絡(luò)相似，因此它在圖像處理和音頻識(shí)別等方面有特殊的優(yōu)勢(shì)[9-10]。

1.1 網(wǎng)絡(luò)特征

卷積神經(jīng)網(wǎng)絡(luò)基本結(jié)構(gòu)主要包括兩部分：特征提取層和特征映射層。特征提取層中的每個(gè)輸入與前一層輸出的局部接受域相連，以提取該局部的特征，并且該特征與其他特征的相對(duì)位置關(guān)系也隨之確定；特征映射層中每個(gè)特征映射為一個(gè)平面，上面的權(quán)值全部相等，多個(gè)特征映射組成一個(gè)計(jì)算層。因?yàn)樵搶又忻總€(gè)映射平面內(nèi)權(quán)值共享，使得網(wǎng)絡(luò)中的參數(shù)個(gè)數(shù)大量減少。

特征提取層中主要部分為卷積層和池化層，網(wǎng)絡(luò)中的每一個(gè)卷積層都緊跟著一個(gè)池化層，對(duì)特征進(jìn)行二次提取，這種特殊的提取結(jié)構(gòu)減小了特征數(shù)量維度，降低了計(jì)算量。

卷積層是對(duì)輸入進(jìn)行卷積運(yùn)算。卷積運(yùn)算的本質(zhì)是一個(gè)卷積核(特征矩陣)在輸入的圖像矩陣上按照一定的規(guī)則移動(dòng)，并與圖像矩陣上對(duì)應(yīng)位置的元素相乘后結(jié)果相加得到的一個(gè)值。當(dāng)卷積核移動(dòng)完畢時(shí)，就得到新的圖像矩陣，新矩陣就是上一層圖像矩陣的特征，其數(shù)學(xué)表達(dá)式如式(1)所示：

(1)

(2)

池化層也稱下采樣層，其目的是減少特征映射的數(shù)量，對(duì)特征進(jìn)行降維操作，因?yàn)樵谟?jì)算量非常大的時(shí)候，要形成一個(gè)特征輸入過(guò)多的分類器十分不易。并且通過(guò)降維能過(guò)濾掉帶噪聲的特性，減少了運(yùn)算復(fù)雜度，增強(qiáng)有效的圖像識(shí)別特征。池化層一般的形式如式(3)所示：

(3)

其中，down()表示池化函數(shù)，一般有最大池化、平均池化等，本文使用最大池化函數(shù)。它是對(duì)該層輸入圖像的一個(gè)n×n矩陣大小的區(qū)域求最大值。式中β為加權(quán)系數(shù),b為偏置系數(shù)。

1.2 基于卷積神經(jīng)網(wǎng)絡(luò)的算法結(jié)構(gòu)設(shè)計(jì)

本文采用8層結(jié)構(gòu)的卷積神經(jīng)網(wǎng)絡(luò)，包括輸入層、2層卷積層(C)、2層抽樣層(S)、2層全連接層(F)和輸出層，如圖1所示。

圖1 手勢(shì)識(shí)別網(wǎng)絡(luò)結(jié)構(gòu)示意圖

卷積神經(jīng)網(wǎng)絡(luò)模型的輸入層直接讀取原始圖像，并將圖片按固定數(shù)量隨機(jī)打亂順序封裝成批輸入，防止讀入的一批圖片都是同一手勢(shì)，保證每次訓(xùn)練能包含多數(shù)手勢(shì)。C1層與C3層為卷積層，作用是對(duì)上一層的輸出結(jié)果進(jìn)行卷積得出圖像的特征矩陣，本文是用5×5的卷積核對(duì)輸入圖像抽取特征，生成特征圖。S1層與S2層為池化層，對(duì)卷積層的輸出進(jìn)行子采樣，池化窗口大小為3×3。F1層與F2層是全連接層，該層的每個(gè)神經(jīng)元與上一層所有輸出神經(jīng)元相連接。最終由F2層把特征數(shù)據(jù)向量化并連接到輸出層。輸出層是一個(gè)分類器，該層的神經(jīng)元數(shù)量由識(shí)別的種類確定，本文有6類手勢(shì)用于識(shí)別，因此有6個(gè)神經(jīng)元。輸出層采用Softmax回歸模型，該模型是一個(gè)將目標(biāo)變量分為K類的算法，建模使用的分布是多項(xiàng)式分布。Softmax模型可以將F2層傳過(guò)來(lái)的特征值經(jīng)過(guò)計(jì)算轉(zhuǎn)換成相應(yīng)的概率。

1.3 卷積神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練

本文的模型是一個(gè)串聯(lián)結(jié)構(gòu)，根據(jù)圖1的結(jié)構(gòu)，每一層的輸入為上一層的輸出。模型訓(xùn)練是一個(gè)迭代的過(guò)程，將圖像數(shù)據(jù)封裝成批，分批輸入模型，優(yōu)化模型參數(shù)。本文使用的優(yōu)化策略是隨機(jī)梯度下降算法。衡量?jī)?yōu)化效果的標(biāo)準(zhǔn)是損失函數(shù)的解，損失函數(shù)是一種衡量預(yù)測(cè)值與真實(shí)值之間的相關(guān)程度的函數(shù)，目標(biāo)是求每個(gè)批次中所有樣本的平均損失。因此合適大小的批次對(duì)模型的優(yōu)化程度和速度有一定的提高。本文選用交叉熵函數(shù)作為模型的損失函數(shù)。交叉熵函數(shù)起初常用在信息壓縮編碼技術(shù)中，目前已經(jīng)發(fā)展成為深度學(xué)習(xí)領(lǐng)域中的重要技術(shù)。它的定義如式(4)所示，式中y是預(yù)測(cè)的概率分布,y′是實(shí)際的分布。交叉熵用于衡量預(yù)測(cè)與真實(shí)之間的差距性，該值越小說(shuō)明預(yù)測(cè)與真實(shí)越相似。

(4)

本文使用隨機(jī)梯度下降優(yōu)化算法降低損失函數(shù)的解。梯度下降是在每次迭代中對(duì)每個(gè)變量，按照損失函數(shù)在該變量當(dāng)前點(diǎn)負(fù)梯度方向前進(jìn)一定步長(zhǎng)，更新對(duì)應(yīng)的參數(shù)值，以達(dá)到最小化損失函數(shù)。這里的步長(zhǎng)就是學(xué)習(xí)率，它是優(yōu)化算法中的一個(gè)重要參數(shù)，它的初始值對(duì)算法有很大的影響，過(guò)大可能導(dǎo)致無(wú)法優(yōu)化，太小有可能會(huì)導(dǎo)致函數(shù)得到的是局部最優(yōu)。

學(xué)習(xí)率在訓(xùn)練過(guò)程中呈指數(shù)形式衰減，學(xué)習(xí)率的衰減函數(shù)如式(5)所示。公式中y為新的學(xué)習(xí)率，x為當(dāng)前學(xué)習(xí)率，dr為學(xué)習(xí)率的衰減因子，s為當(dāng)前訓(xùn)練步數(shù)，ds為衰減寬帶，控制衰減周期。學(xué)習(xí)率的衰減可以加快算法的收斂速度。

(5)

2 實(shí)驗(yàn)過(guò)程及結(jié)果分析

本文的手勢(shì)識(shí)別算法是基于Python語(yǔ)言和TensorFlow深度學(xué)習(xí)框架開發(fā)的，采用類似LeNet5的CNN模型框架[6]。TensorFlow是Google公司發(fā)布的第二代機(jī)器學(xué)習(xí)系統(tǒng)，它采用數(shù)據(jù)流圖的形式構(gòu)建網(wǎng)絡(luò)模型，具有很強(qiáng)的數(shù)值計(jì)算能力和高度的靈活性，并且提供了大量神經(jīng)網(wǎng)絡(luò)的接口，簡(jiǎn)化構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)模型的代碼任務(wù)。本文使用的數(shù)據(jù)庫(kù)是Marcel手勢(shì)數(shù)據(jù)庫(kù)，該庫(kù)包含6類手勢(shì)圖片，其中訓(xùn)練集有4 872張圖片，測(cè)試集有1 057張圖片。

2.1 圖像的預(yù)處理

卷積神經(jīng)網(wǎng)絡(luò)可以直接對(duì)原始圖像進(jìn)行處理分析，本文隨機(jī)對(duì)數(shù)據(jù)集中的圖片進(jìn)行翻轉(zhuǎn)、亮度調(diào)節(jié)、對(duì)比度更改等操作，加入噪聲可防止模型過(guò)擬合。這樣可以擴(kuò)大樣本集，充分訓(xùn)練模型參數(shù)，提高模型的準(zhǔn)確率。

2.2 實(shí)驗(yàn)結(jié)果分析

本算法利用TensorFlow提供的可視化系統(tǒng)監(jiān)控卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練，跟蹤模型中重要參數(shù)在訓(xùn)練過(guò)程中的變化趨勢(shì)。圖2與圖3是實(shí)驗(yàn)輸出的圖表，其中圖2是學(xué)習(xí)率的變化趨勢(shì)，它的橫坐標(biāo)為當(dāng)前訓(xùn)練的步數(shù)，縱坐標(biāo)為學(xué)習(xí)率的值。由圖可知學(xué)習(xí)率是衰減的。圖3是訓(xùn)練過(guò)程中總體的loss值，它是損失函數(shù)的解，loss值總體趨勢(shì)降低表明訓(xùn)練的效果越來(lái)越好。

圖2 學(xué)習(xí)率變化趨勢(shì)

圖3 loss值變化趨勢(shì)

模型訓(xùn)練完成后，利用測(cè)試集評(píng)估模型，可以得出該模型對(duì)手勢(shì)的識(shí)別率。手勢(shì)識(shí)別總體測(cè)試結(jié)果如表1所示，可以看出對(duì)Marcel手勢(shì)數(shù)據(jù)庫(kù)的平均識(shí)別率達(dá)88.7%，說(shuō)明該模型對(duì)手勢(shì)的識(shí)別率高。由表中克制手勢(shì)C識(shí)別率較其他手勢(shì)識(shí)別率低，分析訓(xùn)練集發(fā)現(xiàn)手勢(shì)C展示的是手的側(cè)面，背景占據(jù)圖片過(guò)多影響手勢(shì)識(shí)別準(zhǔn)確率。

表1 手勢(shì)識(shí)別結(jié)

3 結(jié)論

本文引入卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)手勢(shì)識(shí)別算法，通過(guò)對(duì)樣本數(shù)據(jù)學(xué)習(xí)訓(xùn)練，獲得圖像的特征矩陣，避免了傳統(tǒng)手勢(shì)識(shí)別方法復(fù)雜的人工提取特征值等操作所可能導(dǎo)致的圖像信息的丟失，特征提取不完整等缺點(diǎn)?？偨Y(jié)了卷積神經(jīng)網(wǎng)絡(luò)在圖像處理中的優(yōu)點(diǎn)：可以直接對(duì)原始圖像進(jìn)行處理；局部感知域和權(quán)值共享減少了參數(shù)空間，降低了算法的復(fù)雜度；池化技術(shù)增強(qiáng)了卷積網(wǎng)絡(luò)的魯棒性，避免了圖片畸變導(dǎo)致識(shí)別錯(cuò)誤。本文通過(guò)設(shè)計(jì)模型，并對(duì)模型進(jìn)行實(shí)驗(yàn)，驗(yàn)證了卷積神經(jīng)網(wǎng)絡(luò)手勢(shì)識(shí)別算法的精確性和魯棒性。為了提高識(shí)別的準(zhǔn)確率，下一步應(yīng)該進(jìn)一步優(yōu)化模型的網(wǎng)絡(luò)結(jié)構(gòu)，尋找手勢(shì)識(shí)別最優(yōu)的卷積神經(jīng)網(wǎng)絡(luò)模型。

[1] 吳杰.基于深度學(xué)習(xí)的手勢(shì)識(shí)別研究[D].成都：電子科技大學(xué),2015.

[2] 杜曉川.基于視覺的動(dòng)態(tài)手勢(shì)識(shí)別相關(guān)技術(shù)研究及實(shí)現(xiàn)[D]. 成都：電子科技大學(xué), 2012.

[3] 徐鵬, 薄華. 基于卷積神經(jīng)網(wǎng)絡(luò)的人臉表情識(shí)別[J]. 微型機(jī)與應(yīng)用, 2015, 34(12):45-47.

[4] 鄧柳,汪子杰.基于深度卷積神經(jīng)網(wǎng)絡(luò)的車型識(shí)別研究[J]. 計(jì)算機(jī)應(yīng)用研究, 2016, 33(3):930-932.

[5] 王振, 高茂庭. 基于卷積神經(jīng)網(wǎng)絡(luò)的圖像識(shí)別算法設(shè)計(jì)與實(shí)現(xiàn)[J]. 現(xiàn)代計(jì)算機(jī)(普及版), 2015(7):61-66.

[6] TIVIVE F H C, BOUZERDOWN A. An eye feature detector based on convolutional neural network[C].Eighth International Symposium on Signal Processing and ITS Applications. IEEE, 2005:90-93.

[7] 趙志宏,楊紹普,馬增強(qiáng).基于卷積神經(jīng)網(wǎng)絡(luò)LeNet-5的車牌字符識(shí)別研究[J].天津：系統(tǒng)仿真學(xué)報(bào),2010, 22(3):638-641.

[8] 王強(qiáng).基于CNN的字符識(shí)別方法研究[D].天津:天津師范大學(xué),2014.

[9] AN D C, MEIER U, MASCI J, et al. Flexible, high performance convolutional neural networks for image classification[C].IJCAI 2011, Proceedings of the International Joint Conference on Artificial Intelligence, Barcelona, Catalonia, Spain, July. DBLP, 2011:1237-1242.

[10] KRIZHEVSKY A, SUTSKEVER I, HINTON G E. ImageNet classification with deep convolutional neural networks[C]. International Conference on Neural Information Processing Systems. Curran Associates Inc., 2012:1097-1105.

Design and implementation of gesture recognition algorithm based on convolution neural network

Zhang Bin, Sun Xufei, Wu Yipeng

(College of Physics and Information Engineering, Fuzhou University, Fuzhou 350108, China)

In order to overcome the traditional gesture recognition method of complex artificial extraction of characteristic value, this paper introduces the convolution neural network into gesture recognition. The algorithm can deal with the original gesture image directly, and has local receptive fields, shared weights and pooling and so on ,which can effectively extract the image features. In this paper, the Marcel gesture recognition dataset is used to train the framework. The cross validation method is used to evaluate the system. The experimental results show that the method can identify trained gestures with high accuracy and robustness.

convolutional neural network; local receptive fields; shared weights; pooling; gesture recognition

TP391.9

A

10.19358/j.issn.1674- 7720.2017.20.015

張斌，孫旭飛，吳一鵬.基于卷積神經(jīng)網(wǎng)絡(luò)的手勢(shì)識(shí)別算法設(shè)計(jì)與實(shí)現(xiàn)[J].微型機(jī)與應(yīng)用，2017,36(20)：51-53.

2017-03-31)

張斌(1992-)，通信作者，男，在讀碩士研究生，主要研究方向：智能交通、嵌入式系統(tǒng)。E-mail：308009849@qq.com。

孫旭飛(1961-)，男，碩士，副教授，主要研究方向：嵌入式系統(tǒng)、智能交通技術(shù)、電力線擴(kuò)頻載波技術(shù)。

吳一鵬(1991-)，男，在讀碩士研究生，主要研究方向：智能交通、嵌入式系統(tǒng)。