顏 超，穆平安

（上海理工大學(xué)光電信息與計算機(jī)工程學(xué)院，上海 200093）

0 引言

根據(jù)我國第七次人口普查報告可知，全中國聾啞人數(shù)量已經(jīng)達(dá)到2 000 多萬人。聾啞人由于聽力受損、發(fā)聲不完全等原因，與外界交流非常不便，只能借助于手勢與其他人進(jìn)行溝通交流。但遺憾的是，大多數(shù)普通人并不理解手勢，這一客觀事實也導(dǎo)致聾啞人群體很難通過手語和其他人進(jìn)行交流。由于手勢識別的復(fù)雜性和綜合性［1］，國內(nèi)外對手勢識別的研究相比于人臉識別等能夠直接應(yīng)用的研究是少之又少，若可以高效地將手勢識別出來并轉(zhuǎn)換為文字，則可以幫助聾啞人進(jìn)行更好的溝通。因此，促進(jìn)手勢識別的提升和發(fā)展是一項非常有意義的工作［2］。

實際應(yīng)用中，手勢圖像中通常有人體膚色或復(fù)雜背景［3］（如圖1 所示，第一張為簡單背景，第二張和第三張為復(fù)雜背景），這會給手勢識別帶來很大挑戰(zhàn)。

Fig.1 Simple background and complex background圖1 簡單背景和復(fù)雜背景

手勢主要分為靜態(tài)手勢和動態(tài)手勢，靜態(tài)手勢指在固定時間內(nèi)保持靜止的手勢，而動態(tài)手勢是由一個個靜態(tài)手勢組合而成。本文主要研究靜態(tài)手勢，為下一步識別動態(tài)手勢奠定基礎(chǔ)。當(dāng)前，靜態(tài)手勢識別有傳統(tǒng)和基于深度學(xué)習(xí)的方法，對于傳統(tǒng)的手勢識別方法已有較多研究。Wang 等［4］提出使用Kinect 傳感器的基于手勢的人機(jī)交互解決方案，他們通過計算手指移動器的距離進(jìn)行手勢識別，并在兩個現(xiàn)實應(yīng)用中展示了其實用性。Dai 等［5］提出一種基于隱馬爾科夫模型的連續(xù)詞匯手勢識別方法，可以有效地提高圖像分割精度，并達(dá)到了92.22%的準(zhǔn)確率。Na 等［6］提出一種基于數(shù)據(jù)手套讀取手勢數(shù)據(jù)的方法，但是因為其便捷性差、成本高、維護(hù)較困難和硬件方面的約束，不利于大部分學(xué)者研究；Pugeault 等［7］提出一種多類隨機(jī)森林分類器，通過4 個層次的Gabor濾波器提取特征，識別美國手語字母表中的24 個靜態(tài)符號。Karami 等［8］提出一種多層感知器，利用離散小波變換（DTW）導(dǎo)出的特征識別波斯手語（PSL）中的字母和數(shù)字，識別率達(dá)94.06%。Pisharady 等［9］利用高和低水平圖像特征的組合來檢測手，并將注意力集中在手區(qū)域上。使用貝葉斯推理生成顯著性映射，然后使用基于形狀和紋理的手區(qū)域特征和SVM分類器對手勢進(jìn)行識別處理，在數(shù)據(jù)集上進(jìn)行測試，得到了94.36%的準(zhǔn)確率。

最近一些學(xué)者提出的深度學(xué)習(xí)和卷積神經(jīng)網(wǎng)絡(luò)（CNN）的手勢識別方法在識別率和識別速度上有了更好的提升，它避免了從圖像中導(dǎo)出復(fù)雜的特征描述。Mohanty 等［10］提出一個深度學(xué)習(xí)框架以識別手勢，對3 個數(shù)據(jù)集進(jìn)行訓(xùn)練預(yù)測并獲得了89.1%的識別準(zhǔn)確率。包兆華等［11］通過膚色提取出手的輪廓信息的二值圖像，然后利用改進(jìn)的LeNet-5 模型在自己制作的數(shù)據(jù)集上達(dá)到了較高的識別率；Ameen 等［12］利用CNN 提出一種美國手語字母的識別模型，他們利用兩個平行的中樞神經(jīng)系統(tǒng)從手勢顏色和深度圖像中提取的特征，在美國手勢數(shù)據(jù)集上實現(xiàn)了80.34%的識別準(zhǔn)確率。Suri 等［13］采用一種遷移學(xué)習(xí)模型的方法，更進(jìn)一步地縮短了模型訓(xùn)練所浪費(fèi)的時間，在數(shù)據(jù)集上的手勢識別準(zhǔn)確率為95%；Adithya 等［14］提出一種基于卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的手勢識別方法，該模型可以在復(fù)雜背景和不同照明條件下識別靜態(tài)手勢，他們提出的模型已經(jīng)在兩個公開的基準(zhǔn)數(shù)據(jù)集上進(jìn)行了測試，并且取得94.7%的識別精度。

針對現(xiàn)有算法未能克服在復(fù)雜環(huán)境下識別準(zhǔn)確率低等問題，本文提出一種基于YCbCr 顏色空間和卷積神經(jīng)網(wǎng)絡(luò)相結(jié)合的靜態(tài)手勢識別算法。實驗結(jié)果表明，該算法適用于復(fù)雜的環(huán)境且識別效果較好。

1 系統(tǒng)框架

系統(tǒng)整體框架如圖2 所示，首先對數(shù)據(jù)集圖片進(jìn)行手部區(qū)域提取、降維、灰度化和數(shù)據(jù)增強(qiáng)預(yù)處理，然后使用卷積神經(jīng)網(wǎng)絡(luò)對預(yù)處理后的圖片進(jìn)行訓(xùn)練分類，最后得到識別結(jié)果。

Fig.2 System framework圖2 系統(tǒng)框架

2 圖像預(yù)處理

2.1 數(shù)據(jù)集選取

第一個數(shù)據(jù)集選自新加坡國立大學(xué)的公開數(shù)據(jù)集NUSII［15］，這些手勢是在新加坡國立大學(xué)及其周圍拍攝，背景是復(fù)雜的自然背景，手的形狀和大小各不相同。這些姿勢由40名不同種族、不同復(fù)雜背景的受試者完成。受試者包括年齡范圍為22-56歲的男性和女性。要求受試者展示10個手勢，每個姿勢5次。這是一個10 類手勢數(shù)據(jù)集，分別對應(yīng)著A-J的10個英文字母，圖像大小為160×120。每一個種手勢圖像有200張，總計2 000張圖像。其10個不同手勢圖片如圖3所示。

Fig.3 Sample image of NUS-II dataset（Part A-J）圖3 NUS-II數(shù)據(jù)集的樣本圖像（A-J部分）

第二個Marcel 數(shù)據(jù)集選自擁有復(fù)雜背景的室內(nèi)，相對于第一個數(shù)據(jù)集較為簡單。該數(shù)據(jù)集共有6 種不同的手勢，一共有5 494張圖片。其樣本圖片如圖4所示。

Fig.4 Sample images from the Marcel dataset圖4 Marcel數(shù)據(jù)集中的樣本圖片

2.2 圖像預(yù)處理

圖像預(yù)處理的主要目的是加快模型訓(xùn)練速度，增加訓(xùn)練數(shù)據(jù)量，從而提高模型識別效率和泛化能力。預(yù)處理部分包括手部區(qū)域提取、圖像降維、和旋轉(zhuǎn)等操作。其具體步驟如下：

第一步，利用YCbCr 顏色空間方法對數(shù)據(jù)集中的手勢圖像進(jìn)行手勢膚色區(qū)域提取。YCbCr 顏色空間方法是先將皮膚信息映射到Y(jié)CbCr 空間，然后通過判斷像素點(diǎn)是否在橢圓分布內(nèi)來劃分手部區(qū)域，這樣便有效地去除了復(fù)雜背景。提取后的手部區(qū)域如圖5所示。

Fig.5 Comparison of the original image with the extracted hand image圖5 原圖與手部提取圖對比

第二步，將提取后的圖像轉(zhuǎn)換為灰度圖像，如圖6所示。

第三步，將所有數(shù)據(jù)集的手勢圖像從原始大小160×120像素降維到64×64像素，如圖7所示。

Fig.6 Gray scale（160×120）圖6 灰度圖（160×120）

Fig.7 Dimension reduction diagram（64×64）圖7 降維圖（64×64）

第四步，對圖片進(jìn)行增強(qiáng)處理，將所有圖片進(jìn)行水平翻轉(zhuǎn)、垂直翻轉(zhuǎn)（見圖8）和左右30°、60°和90°旋轉(zhuǎn)操作（見圖9）。

Fig.8 Horizontal flip and vertical flip（64×64）圖8 水平翻轉(zhuǎn)和垂直翻轉(zhuǎn)圖（64×64）

經(jīng)過圖像預(yù)處理，數(shù)據(jù)集擴(kuò)增到原來的8 倍，每種手勢包括1 600張，一共得到16 000張手勢圖片。

3 網(wǎng)絡(luò)模型

3.1 CNN基本理論

Fig.9 Rotation by 30，60 and 90 degrees（64×64）圖9 旋轉(zhuǎn)30°、60°和90°圖（64×64）

卷積神經(jīng)網(wǎng)絡(luò)（Convolution Neural Network，CNN）是一種具有深層結(jié)構(gòu)的前饋神經(jīng)網(wǎng)絡(luò)［16］。CNN 主要是基于卷積運(yùn)算，卷積運(yùn)算特別適合圖像處理。在圖像處理過程中，卷積神經(jīng)網(wǎng)絡(luò)方法與傳統(tǒng)圖像特征提取方法不同，CNN 通過使用多層卷積操作提取圖像的卷積特征圖，通過不斷地迭代訓(xùn)練CNN，就可以獲取較好的圖像特征，極大提高了圖像特征提取準(zhǔn)確度。這是卷積神經(jīng)網(wǎng)絡(luò)的優(yōu)勢所在，因此CNN 在圖像處理領(lǐng)域應(yīng)用廣泛。CNN 網(wǎng)絡(luò)主要由卷積層、池化層、全連接層、激活函數(shù)和Softmax 分類器等構(gòu)成。

（1）卷積層。卷積層（Convolution Layer）是卷積神經(jīng)網(wǎng)絡(luò)的核心部分，其卷積運(yùn)算過程是通過一個卷積核以滑動窗口的形式對特征圖像加權(quán)求和，也即完成了一次濾波過程，濾波器為卷積核。卷積主要用來提取圖片中的復(fù)雜特征。一般前幾個卷積層用來提取基礎(chǔ)簡單的特征，后幾層則從簡單特征中用來提取更繁雜的特征。

（2）池化層。池化層（Pooling Layer）一般應(yīng)用于卷積層之后，雖然卷積層也可以一定程度地減少參數(shù)數(shù)量，但是特征維度如果只是通過卷積層進(jìn)行運(yùn)算則有效率非常低。池化層是起到簡化卷積層輸出參數(shù)信息的作用，同時還可以保持圖像原始信息不發(fā)生改變。池化層其實是另外一種形式的降采樣，即在給定區(qū)域內(nèi)，通過相應(yīng)策略選取特定值作為輸出，該輸出值代表整個區(qū)域一定的特征，這樣就達(dá)到了降維效果。例如，最大池化（Max Pooling）選擇該圖像相鄰區(qū)域內(nèi)的最大值作為該區(qū)域池化后的值，平均池化（Average Pooling）是相計算該圖像相鄰矩形區(qū)域內(nèi)的平均值作為該區(qū)域池化后的值。實際上，池化的作用就是對卷積層輸出的圖片信息進(jìn)行某種方式的凝縮。

（3）激活函數(shù)。激活函數(shù)（Activation Function）是為了解決輸入樣本非線性可分問題，通常在卷積計算后增加一個激活函數(shù)，這在很大程度上提高了網(wǎng)絡(luò)的非線性表達(dá)能力。在實際應(yīng)用中，最常用的激活函數(shù)主要有Sigmoid、tanh、RELU 等，本文模型中的卷積層后接的激活函數(shù)都是RELU［17］。RELU 函數(shù)公式如式（1）所示。

可以看出，如果輸入為負(fù)值或0 時，則輸出為零；如果輸入為正值，則輸出保持不變。它可以對輸入信號進(jìn)行過濾，保留部分滿足條件的信號，而且可以有效克服梯度消失問題。

（4）批量歸一化（BN）。將批量歸一化加入每個ReLU層之后，主要為了防止訓(xùn)練數(shù)據(jù)和測試數(shù)據(jù)在學(xué)習(xí)數(shù)據(jù)分布時，避免因分布不一致而導(dǎo)致網(wǎng)絡(luò)泛化能力下降。它可以將一個批量里的輸入數(shù)據(jù)進(jìn)行歸一化然后輸出。如果將批量歸一化層放置在網(wǎng)絡(luò)各層之間，就可以不斷地對中間輸出進(jìn)行調(diào)整，從而保證整個網(wǎng)絡(luò)中間輸出的數(shù)值穩(wěn)定性。同時，減少梯度對參數(shù)或其初始值尺度的依賴性。因此，可以使用較大的學(xué)習(xí)速率對網(wǎng)絡(luò)進(jìn)行訓(xùn)練，從而加速網(wǎng)絡(luò)收斂。

（5）全連接層。全連接層（Fully Connected Layer）是卷積層的一種，在整個網(wǎng)絡(luò)中起到分類器的作用。它把從卷積層和池化層得到的卷積特征中代表圖像局部特征的數(shù)值組合起來，然后將每一個特征圖轉(zhuǎn)換為一維數(shù)組，再將所有特征圖的一維數(shù)組拼接成一個特征向量，作為手勢圖像的完整表示，最后輸入全連接層。全連接層一般位于卷積層和池化層后面，主要作用是整合圖像特征并實現(xiàn)分類。

（6）Softmax。Softmax 分類器將上一層全連接層的輸出轉(zhuǎn)換成一個概率向量，該向量中的值代表當(dāng)前樣本屬于每一個類的概率［18］，其表達(dá)式如式（2）所示。

其中，N表示分類的類別數(shù)，a表示全連接層的輸出向量，aj表示向量a中的第j個值。

3.2 提出的卷積網(wǎng)絡(luò)模型

本文提出的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如圖10 所示，CNN 的輸入圖像是尺寸大小為64×64 的灰度圖像。該網(wǎng)絡(luò)由12個卷積層和4 個池化層組成。每個卷積層都應(yīng)用了ReLu激活函數(shù)并利用BN 進(jìn)行了數(shù)據(jù)標(biāo)準(zhǔn)化處理。在前兩個卷積層使用了64 個卷積濾波器，在接下來的卷積層中分別擴(kuò)展到128、256、512 個濾波器，以便于提取圖像中更深的特征。在所有卷積層中實現(xiàn)了一個內(nèi)核大小為3×3 和步長為1 的濾波器。在各種池化函數(shù)中，最大池化層以其速度快、收斂性好等優(yōu)點(diǎn)優(yōu)于其他池化函數(shù)，因此本文在每個卷積層之后加入最大池化層以減少參數(shù)量。采用大小為2×2 的不重疊采樣進(jìn)行池化，經(jīng)池化層處理后，手勢特征圖的分辨率將縮減一半。全連接層中共有256 個神經(jīng)元，在全連接層中也應(yīng)用了ReLu 激活功能。最后輸出層由Softmax 進(jìn)行處理，用于對輸出的不同手勢特征進(jìn)行分類，將最終分類結(jié)果輸出到一列向量中從而輸出手勢圖像的分類結(jié)果。

3.3 優(yōu)化模型訓(xùn)練策略

（1）在構(gòu)建CNN 網(wǎng)絡(luò)模型時，由于神經(jīng)網(wǎng)絡(luò)模型具有大批量的參數(shù)和較深的層次，從而導(dǎo)致訓(xùn)練的網(wǎng)絡(luò)模型易形成過擬合。因此，利用Dropout 方法避免模型產(chǎn)生過擬合現(xiàn)象，在訓(xùn)練過程中隨機(jī)按照比例將部分神經(jīng)元權(quán)重設(shè)置歸零，即輸入不與隱藏層的權(quán)重進(jìn)行相關(guān)運(yùn)算［19］。使得模型不會完全依賴于全連接層中的某個權(quán)重，縮減了參數(shù)量，有效避免了過擬合現(xiàn)象的發(fā)生。

（2）在分類不同手勢時，采用交叉熵?fù)p失函數(shù)衡量模型預(yù)測結(jié)果和真實值之間的誤差。其離散的函數(shù)表達(dá)式如式（3）所示。

其中，N表示批處理塊的大小，p、q表示一批樣本中第i個樣本的真實標(biāo)簽和預(yù)測標(biāo)簽。

（3）模型優(yōu)化器選擇Adam 優(yōu)化器，利用它對整個神經(jīng)網(wǎng)絡(luò)進(jìn)行優(yōu)化。Adam 算法是梯度下降算法的一種變形，相比于普通的梯度下降算法，該算法可以通過考慮梯度的一階矩估計和二階矩估計自動調(diào)整每個參數(shù)學(xué)習(xí)率，同時具有AdaGrad 和RMSProp 兩種優(yōu)化算法的優(yōu)點(diǎn)，是深度學(xué)習(xí)領(lǐng)域比較流行的優(yōu)化算法。

如圖11所示，通過對比其他常用的優(yōu)化器算法后，Adam 優(yōu)化器訓(xùn)練出來的模型擬合效果最好，梯度下降曲線的波動最為平穩(wěn)。綜合以上因素，選用Adam 作為模型的優(yōu)化器。

Fig.11 Effect of optimizer on model performance圖11 優(yōu)化器對模型性能的影響

（4）為進(jìn)一步提高模型識別準(zhǔn)確率，本實驗采用的學(xué)習(xí)率為0.000 1。通過多次遍歷數(shù)據(jù)集的方式增強(qiáng)模型擬合能力，并且在每次遍歷訓(xùn)練集過程中隨機(jī)打亂訓(xùn)練集的排序以提高模型魯棒性。

4 實驗與結(jié)果分析

4.1 實驗環(huán)境與配置

為了客觀地進(jìn)行算法性能對比，手勢識別實驗環(huán)境和配置如表1所示。

4.2 在NUS數(shù)據(jù)集上的實驗結(jié)果分析

本實驗使用未經(jīng)過預(yù)處理的數(shù)據(jù)集與經(jīng)過手部區(qū)域提取和預(yù)處理后的數(shù)據(jù)集作對比實驗，結(jié)果如表2所示。

（1）使用未經(jīng)過預(yù)處理的數(shù)據(jù)集用于CNN 訓(xùn)練。NUS數(shù)據(jù)集樣本照片為2 000 張，其中每一種靜態(tài)手勢照片為200 張。按照8∶2 的比例將圖像分別用于訓(xùn)練和測試。該模型迭代運(yùn)行了100 次，計算得出隨著訓(xùn)練數(shù)據(jù)迭代次數(shù)的增加，其準(zhǔn)確率達(dá)到95.65%。

Table 1 Experimental environment and configuration表1 實驗環(huán)境與配置

Table 2 Comparison of experimental results表2 實驗結(jié)果對比

（2）使用經(jīng)過手部區(qū)域提取和預(yù)處理后的數(shù)據(jù)集用于CNN 訓(xùn)練。在預(yù)處理期間，首先利用YCbCr 顏色空間對數(shù)據(jù)集的手部區(qū)域進(jìn)行提取，然后利用降維、灰度化和數(shù)據(jù)增強(qiáng)等預(yù)處理，經(jīng)過數(shù)據(jù)增強(qiáng)后一共得到16 000 張手勢圖片。按照同樣的方式進(jìn)行訓(xùn)練和測試，模型迭代運(yùn)行了100 次，保存模型每次迭代的準(zhǔn)確率和損失值。由表2 可以看出，經(jīng)過預(yù)處理后，手勢的識別準(zhǔn)確率相對于預(yù)處理前提高2.65%。經(jīng)過預(yù)處理后的手勢圖像有效去除了復(fù)雜背景，并達(dá)到了較好的手勢識別準(zhǔn)確率。預(yù)處理后網(wǎng)絡(luò)模型的準(zhǔn)確率和損失函數(shù)如圖12所示。

Fig.12 Accuracy and loss function of the model after preprocessing圖12 預(yù)處理后模型的準(zhǔn)確率和損失函數(shù)

可以看出，隨迭代次數(shù)的增加，訓(xùn)練集和驗證集的準(zhǔn)確率在訓(xùn)練過程中不斷提高，并達(dá)到穩(wěn)定狀態(tài)，損失值持續(xù)下降后也趨于平穩(wěn)。兩條線基本接近重合，說明網(wǎng)絡(luò)模型能夠很好地對數(shù)據(jù)集進(jìn)行擬合，本文提出的預(yù)處理方法也有效避免了訓(xùn)練過程中過擬合現(xiàn)象的發(fā)生。

經(jīng)過相同NUS-II 數(shù)據(jù)集訓(xùn)練后，本文算法與其他文獻(xiàn)提出算法的比較如表3 所示?？梢钥闯?，傳統(tǒng)手勢識別方法識別準(zhǔn)確率遠(yuǎn)不如基于神經(jīng)網(wǎng)絡(luò)的方法。該算法在YCbCr 顏色空間和卷積神經(jīng)網(wǎng)絡(luò)模型上有效識別出了手勢特征，識別準(zhǔn)確率為98.32%，相比于文獻(xiàn)［14］中單獨(dú)使用卷積神經(jīng)網(wǎng)絡(luò)的方法準(zhǔn)確率提升3.62%，該算法達(dá)到了更優(yōu)的識別效果。

4.3 在Marcel數(shù)據(jù)集上的實驗結(jié)果分析

為了驗證該算法在復(fù)雜環(huán)境下的有效性，經(jīng)過同樣預(yù)處理方法訓(xùn)練后，本文算法和其他算法在Marcel 數(shù)據(jù)集上的識別準(zhǔn)確率比較如表4 所示?？梢钥闯?，在該數(shù)據(jù)集上達(dá)到98.96%的準(zhǔn)確率。相比于文獻(xiàn)［22］中卷積神經(jīng)網(wǎng)絡(luò)結(jié)合SVM 的方法提升0.96%的準(zhǔn)確率。

Table 4 Test results of different algorithms on Marcel data sets表4 在Marcel數(shù)據(jù)集上不同算法的測試結(jié)果

本文提出的算法使用YCbCr 顏色空間對手勢進(jìn)行提取，有效去除了復(fù)雜背景，在很大程度上提升了卷積神經(jīng)網(wǎng)絡(luò)效率。經(jīng)過兩個數(shù)據(jù)集的驗證可以看出，該算法在各種復(fù)雜背景下都可以很好地對手勢進(jìn)行識別。

5 結(jié)語

針對現(xiàn)有手勢識別方法在復(fù)雜環(huán)境下識別率低的問題，本文提出了一種基于Ycbcr 顏色空間和卷積神經(jīng)網(wǎng)絡(luò)相結(jié)合的手勢識別算法。實驗表明，對復(fù)雜背景下的NUS-II 數(shù)據(jù)集和Marcel 數(shù)據(jù)集進(jìn)行識別，可以有效去除復(fù)雜背景，準(zhǔn)確率得到很大提升，可以很好地在復(fù)雜環(huán)境下對靜態(tài)手勢進(jìn)行識別。本實驗只是對數(shù)據(jù)集中的靜態(tài)英文字母進(jìn)行識別，在實際應(yīng)用中還有許多局限性，未來需作出如下改進(jìn)：①由于該算法只是對靜態(tài)手勢進(jìn)行識別，在接下來的研究中，會重點(diǎn)研究動態(tài)的手語動作，以達(dá)到手勢實時識別效果；②由于中國手語的復(fù)雜性，目前國內(nèi)學(xué)者對中國手語的識別研究較少，在下一步會考慮對中國手語進(jìn)行識別，以此造福更多的中國聾啞人。