楊紅玲，宣士斌，梁竣程，趙 洪，莫愿斌

(廣西民族大學(xué) 信息科學(xué)與工程學(xué)院，廣西 南寧 530006)

基于膚色檢測(cè)與卷積神經(jīng)網(wǎng)絡(luò)的手勢(shì)識(shí)別*

楊紅玲，宣士斌，梁竣程，趙 洪，莫愿斌

(廣西民族大學(xué) 信息科學(xué)與工程學(xué)院，廣西 南寧530006)

針對(duì)光照變化、背景噪聲等復(fù)雜環(huán)境對(duì)手勢(shì)識(shí)別的影響，提出了一種基于YCbCr空間膚色分割去除背景結(jié)合卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行手勢(shì)識(shí)別方法。首先根據(jù)人體膚色在YCbCr顏色空間中的聚類效果，采用基于橢圓模型的膚色檢測(cè)方法進(jìn)行手勢(shì)分割；然后對(duì)分割后的手勢(shì)圖像提取骨架與邊緣相融合的手勢(shì)特征圖；再通過深層次的AlexNet卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，對(duì)經(jīng)過融合的手勢(shì)特征圖進(jìn)行識(shí)別。實(shí)驗(yàn)結(jié)果表明，針對(duì)復(fù)雜的背景環(huán)境，該算法具有較強(qiáng)的魯棒性，在不同數(shù)據(jù)集下對(duì)手勢(shì)的平均識(shí)別率提升了4%，可以達(dá)到99.93%。

膚色檢測(cè)；手勢(shì)分割；特征提?。痪矸e神經(jīng)網(wǎng)絡(luò)；手勢(shì)識(shí)別

0 引言

近年來深度學(xué)習(xí)在計(jì)算機(jī)視覺應(yīng)用的高速發(fā)展，給新的人機(jī)交互方式帶來更多的機(jī)遇，為了讓機(jī)器人通過“看到”、“聽到”等方式去完成相應(yīng)的動(dòng)作，就需要讓機(jī)器人明白人的指令。手勢(shì)作為傳遞指令的一種重要交互方式之一，基于深度學(xué)習(xí)的手勢(shì)識(shí)別技術(shù)成為現(xiàn)在非常熱門的研究課題，得到了很多科研工作者的關(guān)注。

目前手勢(shì)識(shí)別一般分為兩步，首先從復(fù)雜的背景環(huán)境中將手勢(shì)分割出來，然后對(duì)分割的手勢(shì)進(jìn)行識(shí)別，因此在復(fù)雜背景下由于背景、環(huán)境、光照等外界條件的變化會(huì)給手勢(shì)分割帶來一定的困難，而分割效果的好壞也會(huì)對(duì)識(shí)別有一定的影響。常見的手勢(shì)分割方法大多是基于膚色聚類的特性[1]，應(yīng)用顏色信息獲取手勢(shì)部位的所在區(qū)域，如基于HSV顏色空間的膚色檢測(cè)，但是該方法對(duì)于光照變化比較敏感；基于高斯模型的膚色檢測(cè)，該方法能在簡(jiǎn)單的背景下能取得很好的檢測(cè)效果；基于橢圓模型的膚色檢測(cè)則能很好地適應(yīng)光照的變化和復(fù)雜背景，因本文算法在手勢(shì)分割階段選取該模型進(jìn)行膚色檢測(cè)。而對(duì)手勢(shì)分割后的識(shí)別方法也有很多，如基于神經(jīng)網(wǎng)絡(luò)的識(shí)別方法具有較強(qiáng)的識(shí)別分類識(shí)別能力的分類能力，但是如果采用神經(jīng)網(wǎng)絡(luò)層數(shù)一般較淺，很容易出現(xiàn)過擬合的現(xiàn)象[2-3]；基于幾何特征的識(shí)別方法通過提取手勢(shì)結(jié)構(gòu)、邊緣、輪廓等特征進(jìn)行手勢(shì)識(shí)別，具有良好的穩(wěn)定性，但是不能通過提升樣本量的同時(shí)進(jìn)行識(shí)別率的提升[4-6]；基于隱馬爾科夫模型的識(shí)別方法雖然具有描述手勢(shì)時(shí)空變化的能力，但是該方法的識(shí)別速度卻不盡如人意[7]。隨著深度學(xué)習(xí)在計(jì)算機(jī)視覺方面的迅速發(fā)展，基于深度學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)的方法受到越來越多研究者的關(guān)注，其獨(dú)特的局部感知、權(quán)重共享、深度層次化結(jié)果、自動(dòng)特征提取過程給手勢(shì)識(shí)別[8-9]帶來新的思路，但是該方法對(duì)數(shù)據(jù)集的獲取、網(wǎng)絡(luò)結(jié)構(gòu)的選擇卻有著一定的要求，若能獲取較為干凈的手勢(shì)圖像，選擇更加深層次的網(wǎng)絡(luò)結(jié)構(gòu)，會(huì)使得學(xué)習(xí)的特征更加具有分類能力。

因此針對(duì)復(fù)雜環(huán)境下的靜態(tài)手勢(shì)圖像，提出了一種基于膚色分割與卷積神經(jīng)網(wǎng)絡(luò)相結(jié)合進(jìn)行手勢(shì)識(shí)別的方法。該方法首先對(duì)比人體膚色在各顏色空間中聚類效果，選取對(duì)光照環(huán)境變化不太敏感的橢圓模型在YCbCr空間進(jìn)行膚色檢測(cè)實(shí)現(xiàn)復(fù)雜背景環(huán)境下的手勢(shì)分割，同時(shí)針對(duì)分割圖像中可能存在非手勢(shì)區(qū)域的問題，采用最大類間方法去除圖像中非手勢(shì)區(qū)域，然后獲取手勢(shì)圖像進(jìn)行骨架與邊緣相融合的特征圖，再通過采用深層次的AlexNet卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，對(duì)融合的特征圖像進(jìn)行訓(xùn)練，獲取手勢(shì)分類模型，從而實(shí)現(xiàn)復(fù)雜背景環(huán)境下的手勢(shì)識(shí)別。實(shí)驗(yàn)證明該方法具有良好的識(shí)別效果，在不同數(shù)據(jù)集下對(duì)手勢(shì)的平均識(shí)別率提升了4%，達(dá)到99.93%。

1 基于卷積神經(jīng)網(wǎng)絡(luò)的手勢(shì)識(shí)別

本文算法的輸入為采集得到的原始手勢(shì)圖像，將原始圖像通過濾波、去噪等預(yù)處理后進(jìn)行手勢(shì)分割。手勢(shì)分割是根據(jù)人體膚色在顏色空間中具有良好的聚類效果，通過橢圓模型的膚色檢測(cè)方法，提取包含手勢(shì)區(qū)域的二值圖像，然后獲取圖像中最大連通區(qū)域作為手勢(shì)區(qū)域。手勢(shì)識(shí)別對(duì)分割提取的手勢(shì)區(qū)域進(jìn)行分類識(shí)別。首先通過對(duì)分割后的手勢(shì)圖像進(jìn)行骨架與邊緣特征提取，獲取這兩種特征相融合的特征圖，再采用深層次的AlexNet卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，對(duì)融合的手勢(shì)特征圖像進(jìn)行學(xué)習(xí)訓(xùn)練，獲取分類模型對(duì)手勢(shì)進(jìn)行識(shí)別，判斷手勢(shì)所代表的含義。算法的輸出為對(duì)各類手勢(shì)進(jìn)行識(shí)別的相對(duì)概率，具體的算法流程圖如圖1所示。

圖1 手勢(shì)識(shí)別算法流程圖

由于手勢(shì)識(shí)別過程輸入的采集圖像中非人手背景的存在會(huì)對(duì)手勢(shì)識(shí)別造成一定的影響，因此本文提出了一種基于膚色分割與卷積神經(jīng)網(wǎng)絡(luò)相結(jié)合的手勢(shì)識(shí)別方法，通過膚色分割一定程度上減少背景對(duì)手勢(shì)識(shí)別的干擾；然后獲取分割圖像中的最大連通區(qū)域作為手勢(shì)圖像；最后通過卷積神經(jīng)網(wǎng)絡(luò)對(duì)分割后手勢(shì)的骨架與邊緣相融合的特征圖像進(jìn)行分類，獲取識(shí)別結(jié)果。

1.1基于膚色模型的手勢(shì)分割

由于膚色能在顏色空間中表現(xiàn)出良好的聚類效果，基于膚色模型的手勢(shì)分割方法能把感興趣的手勢(shì)部分從復(fù)雜的背景中提取出來。由于圖像采集設(shè)備獲取的圖像通常為RGB形式，相互之間存在著一定的相關(guān)性，亮度稍稍地變化就會(huì)對(duì)膚色分割產(chǎn)生巨大變化，并不適合進(jìn)行膚色分割，而經(jīng)過大量的統(tǒng)計(jì)結(jié)果發(fā)現(xiàn)，在將皮膚信息映射到Y(jié)CbCr空間時(shí)，膚色像素點(diǎn)會(huì)在CbCr二維空間中近似形成橢圓分布，因此將YCbCr作為手勢(shì)分割的顏色空間，并采用基于橢圓模型的方法進(jìn)行膚色分割。通過判斷某點(diǎn)在YCbCr空間的坐標(biāo)(Cb,Cr)是否在橢圓內(nèi)來區(qū)分膚色與背景。橢圓方程具體參數(shù)如下所示：

(1)

(2)

其中，Cx=109.38,Cy=152.02,b=14.03,θ=2.53,ecx=1.60,ecy=2.41,a=25.39；橢圓模型的膚色檢測(cè)結(jié)果如圖2所示。

圖2 基于YCbCr空間的橢圓模型膚色分割效果圖

由于膚色檢測(cè)中會(huì)受到類似膚色的顏色背景的影響分割出一些非手勢(shì)區(qū)域，因此本文通過對(duì)各個(gè)連通區(qū)域進(jìn)行統(tǒng)計(jì)，獲取圖像中的最大連通區(qū)域，排除膚色檢測(cè)結(jié)果圖像中的非人手區(qū)域，實(shí)現(xiàn)對(duì)手勢(shì)更加精確地分割。

1.2基于卷積神經(jīng)網(wǎng)絡(luò)的手勢(shì)識(shí)別

隨著深度學(xué)習(xí)的快速發(fā)展，其在圖像識(shí)別領(lǐng)域也有了廣泛的應(yīng)用?；谏疃葘W(xué)習(xí)的圖像識(shí)別與傳統(tǒng)方法相比，有著更加精確的識(shí)別精度和速度，因此本文采用基于深度學(xué)習(xí)的方法來進(jìn)行手勢(shì)識(shí)別，構(gòu)建深度卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，通過有監(jiān)督的學(xué)習(xí)方法獲取手勢(shì)分類模型，進(jìn)行識(shí)別手勢(shì)。

1.2.1基于多特征融合的手勢(shì)輸入

由于手勢(shì)變化的復(fù)雜性，雖然分割后的二值圖像能夠很好地排除影響手勢(shì)識(shí)別的背景信息，但是人們?cè)谶M(jìn)行手勢(shì)識(shí)別時(shí)往往更加關(guān)注手勢(shì)本身所代表的含義而忽略整體手勢(shì)的信息。為了提高手勢(shì)識(shí)別的準(zhǔn)確率，提取手勢(shì)分割后圖像中的本質(zhì)信息，引入基于二值手勢(shì)圖像(如圖3(a)所示)的骨架特征與邊緣特征相融合后的特征圖像作為卷積神經(jīng)網(wǎng)絡(luò)的輸入圖像。

骨架作為物體的一維表示，能夠保持原物體的幾何、形狀、拓?fù)湫畔?，是一種優(yōu)良的形狀描述符，能夠有效地描述物體。因此，骨架廣泛應(yīng)用于計(jì)算機(jī)圖形圖像學(xué)、計(jì)算機(jī)幾何學(xué)等眾多領(lǐng)域。手勢(shì)骨架作為一種對(duì)于手勢(shì)本質(zhì)信息表示方法，能夠很好地描述手勢(shì)所代表的物理含義，可以將手勢(shì)骨架信息作為一類手勢(shì)識(shí)別的特征描述，手勢(shì)骨架提取結(jié)果如圖3(b)所示。

圖4 手勢(shì)識(shí)別的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

雖然單一的手勢(shì)骨架特征能夠很好地解釋手勢(shì)所代表的含義，但是所含有的關(guān)鍵信息卻有一定的缺陷。因此，進(jìn)一步利用形態(tài)學(xué)算子提取手勢(shì)二值圖像的邊緣(如圖3(c)所示)，獲取具有更好解釋效果的手勢(shì)邊緣圖像，然后將其圖手勢(shì)骨架圖像相結(jié)合作為卷積神經(jīng)網(wǎng)絡(luò)的輸入，獲取更好的識(shí)別效果，融合結(jié)果如圖3(d)所示。

圖3 多特征融合效果圖

1.2.2基于深度卷積神經(jīng)網(wǎng)絡(luò)的手勢(shì)識(shí)別

卷積神經(jīng)網(wǎng)絡(luò)(CNN)具有三個(gè)最基本的特征：局部連接、權(quán)值共享和下采樣，通過局部連接和權(quán)值共享減少訓(xùn)練參數(shù)，同時(shí)通過下采樣來提升模型魯棒性的同時(shí)減少訓(xùn)練參數(shù)，因此根據(jù)卷積神經(jīng)網(wǎng)絡(luò)的特征，其一般包含兩個(gè)特殊的網(wǎng)絡(luò)神經(jīng)元層：卷積層和下采樣層。本文采用AlexNet的網(wǎng)絡(luò)結(jié)構(gòu)，Input Layer為輸入層，具體為64×64的手勢(shì)特征融合圖像，Layer1～Layer5是卷積層，Layer6～Layer8為全連接層，Output Layer為輸出層，輸出層神經(jīng)元有3個(gè)，分別代表手勢(shì)類別：石頭、剪刀、布。卷積核和各偏置等參數(shù)的初始值均隨機(jī)產(chǎn)生，輸入樣本后通過前向傳播和反向傳播算法對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練來更新參數(shù)。手勢(shì)識(shí)別的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示。

卷積濾波實(shí)質(zhì)就是用卷積核在圖像矩陣中滑動(dòng)遍歷，卷積核與圖像上相對(duì)位置的元素作乘積，將所得結(jié)果相加得到一個(gè)結(jié)果值，最后通過激活函數(shù)獲得卷積結(jié)果。當(dāng)卷積核滑動(dòng)遍歷整張圖像后，結(jié)束特征提取，獲取一個(gè)新的圖像特征矩陣。再通過下采樣圖像特征矩陣進(jìn)行降維，減少計(jì)算量，同時(shí)避免特征過多導(dǎo)致出現(xiàn)過擬合，增強(qiáng)網(wǎng)絡(luò)結(jié)構(gòu)對(duì)位移的魯棒性。具體的卷積和下采樣計(jì)算如下所示：

f(x)=max(0,x)

(3)

(4)

(5)

其中ai,j表示經(jīng)過卷積后第i行第j列元素；xi,j表示圖像的第i行第j列元素；wm,n表示卷積核中第m行第n列權(quán)重；wb表示卷積核的偏置項(xiàng)；f表示激活函數(shù),為RELU函數(shù)；b表示p*q樣本區(qū)域經(jīng)過下采樣后的特征值；P為下采樣函數(shù)，一般為MaxPoling或MeanPoling，本文中采用MaxPoling。

2 實(shí)驗(yàn)結(jié)果和分析

2.1實(shí)驗(yàn)結(jié)果

對(duì)本文提出的方法在兩個(gè)數(shù)據(jù)庫(kù)上進(jìn)行驗(yàn)證，第一個(gè)數(shù)據(jù)庫(kù)是在室內(nèi)場(chǎng)景采集的手勢(shì)圖像數(shù)據(jù)庫(kù)，用來評(píng)判算法的性能，在采集的手勢(shì)數(shù)據(jù)庫(kù)中，通過普通的攝像頭拍攝不同環(huán)境、不同旋轉(zhuǎn)角度下的3種類別的手勢(shì)圖像各100張用于算法性能的測(cè)試；第二個(gè)數(shù)據(jù)庫(kù)采用Thomas Moeslund’s Gesture Recognition Database，在該數(shù)據(jù)庫(kù)中對(duì)建立的基于手勢(shì)分割與卷積神經(jīng)網(wǎng)絡(luò)的手勢(shì)識(shí)別模型進(jìn)行驗(yàn)證。本文從拍攝的各類手勢(shì)圖像中選取2 000個(gè)訓(xùn)練樣本和200個(gè)測(cè)試樣本。通過手勢(shì)數(shù)據(jù)集，分析不同的訓(xùn)練次數(shù)與手勢(shì)識(shí)別率和誤差的關(guān)系，如圖5所示。

從圖5中可以看出訓(xùn)練次數(shù)較少時(shí)，手勢(shì)的識(shí)別率較低，網(wǎng)絡(luò)需要訓(xùn)練較多的次數(shù)才可以達(dá)到較好的識(shí)別效果。這是因?yàn)?，在?xùn)練次數(shù)較低時(shí)，由于手勢(shì)的復(fù)雜性，并不能提取出具有高效分類的網(wǎng)絡(luò)參數(shù)，使得訓(xùn)練的誤差仍然很高，當(dāng)訓(xùn)練進(jìn)行到一定程度時(shí)，網(wǎng)絡(luò)參數(shù)就不會(huì)發(fā)生太大的變化，誤差趨于穩(wěn)定，網(wǎng)絡(luò)的識(shí)別率趨于穩(wěn)定。

圖5 訓(xùn)練次數(shù)與手勢(shì)識(shí)別率和誤差的關(guān)系

2.2實(shí)驗(yàn)對(duì)比分析

為驗(yàn)證本文算法的性能，通過本文獲取的實(shí)驗(yàn)結(jié)果的識(shí)別率，與國(guó)內(nèi)其他學(xué)者的手勢(shì)識(shí)別效果進(jìn)行比較，表1顯示了手勢(shì)樣本在不同方法下的識(shí)別率和時(shí)間消耗對(duì)比。

表1 本文方法與其他方法識(shí)別性能的比較

通過對(duì)比可以發(fā)現(xiàn)，本文算法獲取的識(shí)別率相對(duì)較高的原因在于以下兩點(diǎn)：(1)本文中采用橢圓模型進(jìn)行膚色分割獲取包含手勢(shì)區(qū)域的二值圖像，然后通過求最大連通區(qū)域的方法，獲取干凈的手勢(shì)圖像；(2)本文中采用相對(duì)文獻(xiàn)[5-6] 更加深層次的卷積神經(jīng)網(wǎng)絡(luò)，同時(shí)將手勢(shì)圖像的骨架和邊緣的融合特征圖像作為網(wǎng)絡(luò)的輸入，能夠描述手勢(shì)所代表的物理含義，從而獲得更好的識(shí)別效果。當(dāng)然本文的不足之處在于復(fù)雜的網(wǎng)絡(luò)結(jié)構(gòu)使得識(shí)別時(shí)的耗時(shí)量會(huì)有一定的增加，但是由于其耗時(shí)量已經(jīng)縮短在毫秒級(jí)，因此并不會(huì)因?yàn)楹臅r(shí)量對(duì)算法的實(shí)現(xiàn)產(chǎn)生更大的影響。

3 結(jié)論

本文基于不同的背景環(huán)境，提出了一種基于膚色分割與卷積神經(jīng)網(wǎng)絡(luò)結(jié)合的方法進(jìn)行手勢(shì)識(shí)別。采用膚色分割去除背景對(duì)手勢(shì)識(shí)別的干擾，同時(shí)通過獲取分割后最大連通區(qū)域的方法排除類似膚色的煩擾，得到更加干凈的手勢(shì)二值圖像，最后通過具有較高分類能力的AlexNex卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)對(duì)手勢(shì)的骨架和邊緣的特征融合圖像進(jìn)行學(xué)習(xí)訓(xùn)練，獲取分類模型進(jìn)行手勢(shì)識(shí)別，從而解決了傳統(tǒng)識(shí)別方法中訓(xùn)練方法復(fù)雜度高、訓(xùn)練參數(shù)多、識(shí)別率低等問題。下一步將通過改進(jìn)網(wǎng)絡(luò)結(jié)構(gòu)或者改進(jìn)分割算法進(jìn)一步降低其在手勢(shì)識(shí)別中的誤識(shí)率，從而實(shí)現(xiàn)復(fù)雜環(huán)境下的動(dòng)態(tài)手勢(shì)識(shí)別。

[1] LICSAR A, SZIRANYI T. User-adaptive hand gesture recognition system with interactive training[J]. Image amp; Vision Computing, 2005,23(12):1102-1114.

[2] STERGIOPOULOU E, PAPAMARKOS N. Hand gesture recognition using a neural network shape fitting technique[J]. Engineering Applications of Artificial Intelligence, 2009, 22(8):1141-1158.

[3] 江立, 阮秋琦. 基于神經(jīng)網(wǎng)絡(luò)的手勢(shì)識(shí)別技術(shù)研究[J]. 北京交通大學(xué)學(xué)報(bào), 2006, 30(5):32-36.

[4] Liu Yun, Yin Yanmin, Zhang Shuijun. Hand gesture recognition based on HU moments in interaction of virtual reality[C]. International Conference on Intelligent Human-Machine Systems and Cybernetics. IEEE, 2012:145-148.

[5] 董立峰, 阮軍, 馬秋實(shí),等. 基于不變矩和支持向量機(jī)的手勢(shì)識(shí)別[J]. 微型機(jī)與應(yīng)用, 2012, 31(6):32-35.

[6] 隋云衡, 郭元術(shù). 融合Hu矩與BoF-SURF支持向量機(jī)的手勢(shì)識(shí)別[J]. 計(jì)算機(jī)應(yīng)用研究, 2014, 31(3):953-956.

[7] MURTHY G R S, JADON R S. Hand gesture recognition Using Neural Networks[C]. Advance computing Conference, IEEE, 2010:134-138.

[8] 王龍,劉輝,王彬,等. 結(jié)合膚色模型和卷積神經(jīng)網(wǎng)絡(luò)的手勢(shì)識(shí)別方法[J]. 計(jì)算機(jī)工程與應(yīng)用,2016,53(6):1-7.

[9] 操小文, 薄華. 基于卷積神經(jīng)網(wǎng)絡(luò)的手勢(shì)識(shí)別研究[J]. 微型機(jī)與應(yīng)用, 2016, 35(9):55-57.

[10] STERGIOPOULOU E, PAPAMARKOS N. Hand gesture recognition using a neural network shape fitting technique[J]. Engineering Applications of Artificial Intelligence, 2009, 22(8):1141-1158.

[11] 江立, 阮秋琦. 基于神經(jīng)網(wǎng)絡(luò)的手勢(shì)識(shí)別技術(shù)研究[J]. 北京交通大學(xué)學(xué)報(bào), 2006, 30(5):32-36.

[12] 蔡娟, 蔡堅(jiān)勇, 廖曉東,等. 基于卷積神經(jīng)網(wǎng)絡(luò)的手勢(shì)識(shí)別初探[J]. 計(jì)算機(jī)系統(tǒng)應(yīng)用, 2015, 24(4):113-117.

2017-05-22)

楊紅玲(1991-)，女，碩士研究生，主要研究方向：圖像處理與識(shí)別。

宣士斌(1964-)，男，教授，主要研究方向：圖像處理，圖像處理與識(shí)別。

梁竣程(1982-)，男，本科，主要研究方向：計(jì)算機(jī)網(wǎng)絡(luò)。

Hand gesture recognition based on feature fusion and convolutional neural network

Yang Hongling, Xuan Shibin, Liang Juncheng, Mo Yuanbin

(School of Information Science and Engineering, GuangXi University for Nationalities, Nanning 530006, China)

To reduce the influence of the complex environment such as illumination changes and background noise to hand gesture recognition, an YCbCr based space color segmentation model is used to remove background, and AlexNet convolution network is employed to achieve hand gesture classification in this paper. Based on the human skin color clustering in the YCbCr color space, the method of skin detection based on elliptical model is used to extract gesture image. Then it extracts the gesture feature map fusing the skeleton and edge features from the segmented gesture images. Based on results of the features fusion of gestures, the AlexNet convolution network with deep level structure is employed to recognize the gesture image. The experimental results show that the proposed algorithm has strong robustness against the complex background environment, and the average recognition rate is improved by 4%, reaching to 99.93%.

skin detection; gesture segmentation; feature ertraction; convolutional neural network; gesture recognition

TP183

A

10.19358/j.issn.1674- 7720.2017.22.016

楊紅玲，宣士斌，梁竣程，等.基于膚色檢測(cè)與卷積神經(jīng)網(wǎng)絡(luò)的手勢(shì)識(shí)別J.微型機(jī)與應(yīng)用，2017,36(22)：58-61.

廣西自然科學(xué)基金(2015GXNSFAA13911)；國(guó)家自然科學(xué)基金(21466008)