吳斌方,陳 涵,肖書(shū)浩

1(湖北工業(yè)大學(xué) 機(jī)械工程學(xué)院,武漢 430068)

2(武昌首義學(xué)院 機(jī)電工程研究所,武漢 430064)

引言

近年來(lái),機(jī)器學(xué)習(xí)(machine learning)領(lǐng)域快速發(fā)展,圖像識(shí)別技術(shù)日益成熟,人機(jī)交互方式也隨之改變.手勢(shì)識(shí)別是人機(jī)交互中最簡(jiǎn)單、最直觀(guān)的一種交互方式.該方式擺脫鍵盤(pán)、鼠標(biāo)、按鍵等硬件束縛,具有簡(jiǎn)單易學(xué)、操作方便、動(dòng)作直觀(guān)等特點(diǎn),極大增加用戶(hù)體驗(yàn)感和人機(jī)互動(dòng)性.

手勢(shì)識(shí)別技術(shù)可分為兩種:基于數(shù)據(jù)手套技術(shù)和基于機(jī)器視覺(jué)技術(shù)[1].國(guó)內(nèi)外學(xué)者針對(duì)機(jī)器視覺(jué)手勢(shì)識(shí)別技術(shù)都有相應(yīng)的研究與發(fā)展,Mahmoud 等[2]利用YCbCr 顏色空間和深度信息結(jié)合高斯混合概率模型(GMM)計(jì)算手部區(qū)域,利用隱馬爾可夫模型(HMM)進(jìn)行手勢(shì)識(shí)別.Saha 等[3]利用Kinect 傳感器采集數(shù)據(jù)和隱馬爾可夫模型(HMM)進(jìn)行手勢(shì)識(shí)別;隱馬爾可夫模型(HMM)是手勢(shì)識(shí)別領(lǐng)域常用的方法,該方法需要大量參數(shù),對(duì)識(shí)別時(shí)間和效率有一定影響.Tusor 等[4]利用模糊神經(jīng)網(wǎng)絡(luò)(FNN)根據(jù)預(yù)處理后的手勢(shì)數(shù)據(jù)建立手勢(shì)特征模型,用模糊推理進(jìn)行手勢(shì)識(shí)別;該方法網(wǎng)絡(luò)層數(shù)淺,學(xué)習(xí)能力較弱,訓(xùn)練過(guò)程容易出現(xiàn)過(guò)擬合,識(shí)別效果不好.Marin 等[5]利用Leap motion 傳感器和深度相機(jī)提取指尖間角度、距離和空間坐標(biāo)等參數(shù)作為手部特征,將特征饋送到SVM 和隨機(jī)森林進(jìn)行手勢(shì)識(shí)別,該方法對(duì)硬件的要求高,樣本預(yù)處理較為復(fù)雜.任彧等[6]運(yùn)用方向梯度直方圖(Histograms of Oriented Gradient,HOG)提取手勢(shì)特征,利用SVM 學(xué)習(xí)識(shí)別手勢(shì),消除了光照和手部旋轉(zhuǎn)對(duì)手勢(shì)識(shí)別的影響,但背景要求單一,識(shí)別準(zhǔn)確率不高.朱越等[7]利用HSV 和RGB 顏色空間聯(lián)合進(jìn)行手勢(shì)分割,根據(jù)手勢(shì)輪廓像素變化判斷手勢(shì),該模型對(duì)膚色的抗干擾能力較差,適應(yīng)面窄,識(shí)別種類(lèi)局限.操小文等[8]利用8 層的卷積神經(jīng)網(wǎng)絡(luò)對(duì)手勢(shì)樣本進(jìn)行訓(xùn)練和識(shí)別,該方法需花費(fèi)長(zhǎng)時(shí)間設(shè)計(jì)定義網(wǎng)絡(luò)模型,且樣本背景需單一,抗干擾能力差.

本文針對(duì)手勢(shì)識(shí)別提出了一種SVM 手勢(shì)分割與遷移學(xué)習(xí)相結(jié)合的方法,利用SVM 對(duì)樣本進(jìn)行手勢(shì)分割,采用遷移學(xué)習(xí)方法將Inception-v3 模型進(jìn)行finetuning,通過(guò)實(shí)驗(yàn)對(duì)比獲得最優(yōu)性能的超參數(shù),得到新的手勢(shì)識(shí)別網(wǎng)絡(luò)模型.本文使用SVM 對(duì)樣本手勢(shì)分割增加了手勢(shì)分割的魯棒性和強(qiáng)適應(yīng)性,消除了膚色、光照、旋轉(zhuǎn)和背景等因素的干擾,運(yùn)用遷移學(xué)習(xí)簡(jiǎn)化定義和設(shè)計(jì)CNN 的工作,節(jié)省大量網(wǎng)絡(luò)設(shè)計(jì)和網(wǎng)絡(luò)訓(xùn)練時(shí)間,構(gòu)建的模型在識(shí)別準(zhǔn)確率和識(shí)別效率上均有一定提升.

1 卷積神經(jīng)網(wǎng)絡(luò)與遷移學(xué)習(xí)

卷積神經(jīng)網(wǎng)絡(luò)是一種深度前饋神經(jīng)網(wǎng)絡(luò),是深度學(xué)習(xí)領(lǐng)域的一個(gè)重要分支[9],它在圖像處理領(lǐng)域表現(xiàn)出優(yōu)越的性能.卷積神經(jīng)網(wǎng)絡(luò)將原始圖像信息分塊處理,能適應(yīng)圖像特征的平移旋轉(zhuǎn),且分塊處理特征信息后參數(shù)明顯減少,對(duì)提高模型學(xué)習(xí)效率有顯著影響.

傳統(tǒng)機(jī)器學(xué)習(xí)方法學(xué)習(xí)訓(xùn)練的過(guò)程需要龐大的訓(xùn)練數(shù)據(jù)集,且測(cè)試數(shù)據(jù)集的數(shù)據(jù)分布需與訓(xùn)練數(shù)據(jù)集相同.在大數(shù)據(jù)時(shí)代背景下,輕松獲取所需領(lǐng)域且滿(mǎn)足工作任務(wù)需求的龐大數(shù)據(jù)集仍存在一定的難度.另一方面,在監(jiān)督學(xué)習(xí)完成學(xué)習(xí)任務(wù)時(shí),需要大量的人工將訓(xùn)練數(shù)據(jù)集進(jìn)行逐一對(duì)應(yīng)的標(biāo)注,耗費(fèi)大量的人力物力,對(duì)于一般的高校的機(jī)器學(xué)習(xí)研究或者小型公司的機(jī)器學(xué)習(xí)技術(shù)開(kāi)發(fā)都有極大的障礙.測(cè)試數(shù)據(jù)集的數(shù)據(jù)分布亦常難以與訓(xùn)練數(shù)據(jù)集的數(shù)據(jù)分布一致,給傳統(tǒng)的機(jī)器學(xué)習(xí)方法帶來(lái)一定的難度.

遷移學(xué)習(xí)可以很好的解決上述問(wèn)題,遷移學(xué)習(xí)是運(yùn)用已存有的知識(shí)對(duì)不同但相關(guān)的領(lǐng)域的問(wèn)題求解的一種新的機(jī)器學(xué)習(xí)方法[10].遷移學(xué)習(xí)在源領(lǐng)域模型上僅需少量的訓(xùn)練數(shù)據(jù)集便可以建立一個(gè)針對(duì)目標(biāo)領(lǐng)域的新模型,對(duì)數(shù)據(jù)分布不同的目標(biāo)領(lǐng)域進(jìn)行預(yù)測(cè)和分析.

2 實(shí)驗(yàn)數(shù)據(jù)準(zhǔn)備與預(yù)處理

2.1 樣本采集

網(wǎng)絡(luò)上的手勢(shì)數(shù)據(jù)集較匱乏且不滿(mǎn)足實(shí)際需求,遂利用實(shí)驗(yàn)室設(shè)備采集手勢(shì)數(shù)據(jù)集,采集10 類(lèi)不同手勢(shì)各250 張,共2500 張手勢(shì)樣本,取出每種手勢(shì)樣本中的25 張作為驗(yàn)證數(shù)據(jù)集.采集到的2500 張樣本進(jìn)行尺寸歸一化處理,得到2500 張640×360 像素的手勢(shì)樣本,提高手勢(shì)識(shí)別準(zhǔn)確率.部分樣本如圖1所示.

2.2 樣本增強(qiáng)處理

將2500 張樣本隨機(jī)高斯模糊化處理,將樣本與二維的高斯分布的概率密度函數(shù)作卷積,隨機(jī)模糊樣本.

其中,σ為正態(tài)分布的標(biāo)準(zhǔn)偏差,(u2+v2)為模糊半徑r的平方.

對(duì)樣本進(jìn)行旋轉(zhuǎn)偏移處理,隨機(jī)對(duì)樣本添加少量噪聲,增強(qiáng)網(wǎng)絡(luò)識(shí)別的魯棒性,防止網(wǎng)絡(luò)產(chǎn)生過(guò)擬合現(xiàn)象對(duì)測(cè)試結(jié)果造成影響.

2.3 SVM 手勢(shì)分割

手勢(shì)識(shí)別的重要的一個(gè)步驟是對(duì)樣本中的手勢(shì)進(jìn)行分割,提取重要的感興趣區(qū)域信息,剔除多余背景和環(huán)境對(duì)識(shí)別準(zhǔn)確率造成的干擾.傳統(tǒng)的通過(guò)膚色閾值對(duì)手勢(shì)進(jìn)行分割的方法一般有2 種,在RGB 空間膚色閾值分割、HSV 空間膚色檢測(cè).

RGB 空間膚色閾值分割中R(0～255),G(0～255),B(0～255)3 種像素值同時(shí)滿(mǎn)足式(2),式(3)則為膚色.

圖1 樣本采集

當(dāng)背景顏色與膚色相同或相似時(shí),會(huì)對(duì)膚色分割造成一定干擾,對(duì)背景要求較高.

HSV 空間膚色建模要求H(色調(diào)Hue),S(飽和度Saturation),V(亮度Value)滿(mǎn)足式(4)則為膚色.

H、S、V三通道的值對(duì)應(yīng)HSV 空間中的某一點(diǎn),實(shí)際環(huán)境中光照的亮度會(huì)帶來(lái)色調(diào)的改變,對(duì)光照強(qiáng)度的強(qiáng)適應(yīng)性給膚色檢測(cè)帶來(lái)一定噪聲.

本文利用SVM 將手部區(qū)域與背景區(qū)分開(kāi),形成手勢(shì)分割.SVM 在對(duì)圖像的二分類(lèi)處理問(wèn)題有出色的表現(xiàn),泛化能力較強(qiáng).其基本的思想是將在低維空間非線(xiàn)性可分的兩類(lèi)映射到高維空間,求解出一個(gè)超平面(hyper lane)在高維空間線(xiàn)性可分的兩類(lèi)數(shù)據(jù)完成分類(lèi).本次實(shí)驗(yàn)采用線(xiàn)性(liner)核函數(shù)(kernel):K(x,y)=xT·y,目標(biāo)函數(shù)懲罰系數(shù)C=1.0.利用Python 的Tkinter 模塊編寫(xiě)可視化界面對(duì)樣本進(jìn)行標(biāo)記,將手部區(qū)域與背景區(qū)域區(qū)分開(kāi),如圖2所示,其中紅色標(biāo)記為手部區(qū)域,綠色點(diǎn)標(biāo)記為背景區(qū)域.

圖2 SVM 樣本標(biāo)記

標(biāo)記完成后利用SVM 學(xué)習(xí)并顯示結(jié)果,各手勢(shì)分割方法分割結(jié)果如圖3所示.通過(guò)對(duì)比實(shí)驗(yàn)效果,上述前兩種方法都有一定局限性,RGB 空間膚色閾值分割只有在背景單一和光照穩(wěn)定的條件下膚色分割效果較好,有一定的局限性,如圖3(b)所示;HSV 空間膚色建模對(duì)光線(xiàn)的魯棒性較強(qiáng),但分割離散,膚色區(qū)域不連續(xù),無(wú)法分割出完整手勢(shì),如圖3(c)所示.利用SVM 學(xué)習(xí)后對(duì)手勢(shì)進(jìn)行分割的效果明顯優(yōu)于基于RGB 和HSV膚色分割的方法,如圖3(d)所示,不僅在手部區(qū)域連續(xù)性較好,對(duì)環(huán)境的要求也較低,且該方法魯棒性和靈活性將強(qiáng),對(duì)于膚色區(qū)別較大的實(shí)驗(yàn)者只需重新學(xué)習(xí)即可得到滿(mǎn)足需求的手勢(shì)樣本.

利用訓(xùn)練好的SVM 模型對(duì)2500 張樣本進(jìn)行批量手勢(shì)分割處理,最后將手勢(shì)分割后的樣本選取適當(dāng)?shù)娜珠撝?經(jīng)過(guò)全局二值化處理,得到2500 張手勢(shì)二值樣本,如圖4所示.

3 實(shí)驗(yàn)方法

本次實(shí)驗(yàn)采用遷移學(xué)習(xí)方法將Inception-v3[11]模型結(jié)構(gòu)作為訓(xùn)練模型的結(jié)構(gòu)基礎(chǔ).Inception-v3 模型由谷歌提出,其網(wǎng)絡(luò)思想與其他深度網(wǎng)絡(luò)主要有幾點(diǎn)不同,一方面網(wǎng)絡(luò)使用更小的卷積核代替尺寸相對(duì)較大的卷積核,例如將兩個(gè)3×3 的卷積核代替一個(gè)5×5 的卷積核.另一方面網(wǎng)絡(luò)將n×n例如3×3,7×7 的二維卷積拆分成兩個(gè)1×n,n×1 例如3×1,1×3 和7×1,1×7 的二維卷積,這種方式讓網(wǎng)絡(luò)參數(shù)量大大減少,在加快運(yùn)算速度的同時(shí)也減少了過(guò)擬合的情況,且這種對(duì)卷積結(jié)構(gòu)的不對(duì)稱(chēng)拆分使特征空間保留完整,網(wǎng)絡(luò)非線(xiàn)性表達(dá)的能力也更強(qiáng).網(wǎng)絡(luò)使用Batch Nomalization(BN)算法[12],通過(guò)規(guī)范化方法將輸入分配到均值為0 方差為1 的正態(tài)分布,有效解決深層網(wǎng)絡(luò)的梯度消失問(wèn)題,大幅增加訓(xùn)練效率和收斂后的樣本分類(lèi)的準(zhǔn)確率.

圖3 各方法手勢(shì)分割結(jié)果

圖4 二值化處理樣本

將Inception-v3 中Softmax 回歸層一維輸出大小從1000 類(lèi)定義為所需識(shí)別手勢(shì)的10 類(lèi),保留除Softmax層外所有層的參數(shù),將網(wǎng)絡(luò)的底層作為一個(gè)特征提取器,只訓(xùn)練最后一層參數(shù)達(dá)到模型能夠識(shí)別10 類(lèi)手勢(shì)的目的.模型通過(guò)標(biāo)簽平滑方式進(jìn)行模型正則化,首先對(duì)于輸入的手勢(shì)樣本x,使用式(5)計(jì)算對(duì)應(yīng)標(biāo)簽的概率.

其中,k為手勢(shì)標(biāo)簽類(lèi)別,Zi為尚未歸一化的對(duì)數(shù)概率.手勢(shì)樣本在對(duì)應(yīng)標(biāo)簽上在分布為q(k|x),將樣本損失定義為交叉熵?fù)p失函數(shù):

最小化交叉熵等價(jià)于最大化標(biāo)簽對(duì)數(shù)似然期望,其梯度為:

用q’(k|x)代替標(biāo)簽分布q(k|x)=δk,y:

其中,δk,y為狄拉克δ函數(shù),(1–ε)與ε分別為實(shí)際分布和固定分布的權(quán)重.

Fine-tuning 微調(diào)是訓(xùn)練深度卷積神經(jīng)網(wǎng)絡(luò)的技巧之一,原理是采用模型原有參數(shù)作為網(wǎng)絡(luò)的初始化參數(shù),凍結(jié)部分網(wǎng)絡(luò)層,降低學(xué)習(xí)效率,以目標(biāo)數(shù)據(jù)作為輸入在原有參數(shù)基礎(chǔ)上訓(xùn)練參數(shù).Fine-tuning 后的網(wǎng)絡(luò)模型更易訓(xùn)練,節(jié)省大量訓(xùn)練時(shí)間,精度會(huì)相較直接隨機(jī)初始化參數(shù)的網(wǎng)絡(luò)有所提高.

完成定義網(wǎng)絡(luò)模型后將手勢(shì)分割后的二值化樣本導(dǎo)入模型訓(xùn)練,凍結(jié)網(wǎng)絡(luò)175 層參數(shù),調(diào)整網(wǎng)絡(luò)超參數(shù)得到不同準(zhǔn)確率和交叉熵?fù)p失函數(shù)曲線(xiàn).

4 實(shí)驗(yàn)與結(jié)果

4.1 實(shí)驗(yàn)

本次實(shí)驗(yàn)環(huán)境為Windows 10 操作系統(tǒng),采用GTX1060 顯卡在Tensorflow 深度學(xué)習(xí)框架下完成實(shí)驗(yàn).

為增強(qiáng)模型性能,快速達(dá)到收斂,讓網(wǎng)絡(luò)具有較好的識(shí)別效果和節(jié)省適當(dāng)?shù)挠?xùn)練、識(shí)別時(shí)間,調(diào)整網(wǎng)絡(luò)模型的一系列超參數(shù)作縱向?qū)Ρ葘?shí)驗(yàn).訓(xùn)練集訓(xùn)練與測(cè)試集測(cè)試均在GPU 加速環(huán)境下運(yùn)行.模型采用RMSPro[13]梯度下降算法,設(shè)置衰減值為0.9,ε=1.0.

設(shè)定默認(rèn)批次大小(batch size)為64,學(xué)習(xí)效率(learning rate)為0.045,迭代次數(shù)(epoches)為2000,得到迭代次數(shù)與準(zhǔn)確率和損失函數(shù)的關(guān)系.由圖5看出,模型在1000 次迭代后基本趨于穩(wěn)定,準(zhǔn)確率隨迭代次數(shù)增長(zhǎng)的波動(dòng)較小,損失函數(shù)也基本趨于穩(wěn)定,考慮迭代次數(shù)增加對(duì)網(wǎng)絡(luò)模型產(chǎn)生過(guò)擬合情況的影響,迭代次數(shù)恒定設(shè)置為1000.

圖5 迭代次數(shù)對(duì)模型的影響

對(duì)比學(xué)習(xí)效率對(duì)模型識(shí)別準(zhǔn)確率和損失函數(shù)的影響,學(xué)習(xí)效率對(duì)模型訓(xùn)練起至關(guān)重要的作用,較低的學(xué)習(xí)效率導(dǎo)致模型收斂速度較慢,訓(xùn)練時(shí)間較長(zhǎng);而較高的學(xué)習(xí)效率則可能會(huì)導(dǎo)致模型不收斂,損失函數(shù)值波動(dòng)較大.因此設(shè)定4 種分別為0.001,0.015,0.045,0.080 不同的學(xué)習(xí)效率對(duì)模型進(jìn)行訓(xùn)練,對(duì)比結(jié)果如圖6所示.

從圖6可以看出,圖6(a)中損失函數(shù)和準(zhǔn)確率函數(shù)圖像震動(dòng)劇烈,準(zhǔn)確率較低,損失函數(shù)值始終高于0.5,網(wǎng)絡(luò)模型收斂情況較差;圖6(b)中圖像震動(dòng)有些許減少,相較圖6(c)、6(d)波動(dòng)任較大.圖6(c)、6(d)在迭代初期損失函數(shù)值較大,迭代后期收斂明顯且圖像震動(dòng)幅度較小,適宜訓(xùn)練模型,對(duì)比圖6(c)、6(d)對(duì)訓(xùn)練集的平均準(zhǔn)確率和損失函數(shù)值,選擇圖6(c)學(xué)習(xí)效率0.045作為最終模型學(xué)習(xí)效率.

最后探究每次迭代樣本批次大小(batch size)的選擇,不同的批次大小會(huì)對(duì)網(wǎng)絡(luò)模型的準(zhǔn)確率和訓(xùn)練效率產(chǎn)生影響,選擇過(guò)小的批次會(huì)導(dǎo)致準(zhǔn)確率震蕩較大,模型無(wú)法收斂;選擇較大的批次會(huì)導(dǎo)致內(nèi)存容量不足,參數(shù)更新緩慢,降低運(yùn)行速度,徒增訓(xùn)練時(shí)間.實(shí)驗(yàn)選擇批次大小為32、64、128 和256 等4 種不同批次大小作對(duì)比,得到結(jié)果如表1.

從表1得出,批次大小為32 和64 的模型在訓(xùn)練時(shí)間上與大批次模型相比有一定的優(yōu)勢(shì),準(zhǔn)確率與批次大小為128 的模型相比有略微差距,綜合考慮選擇批次大小為128 個(gè)樣本導(dǎo)入網(wǎng)絡(luò)模型完成訓(xùn)練.

4.2 實(shí)驗(yàn)結(jié)果

網(wǎng)絡(luò)模型訓(xùn)練完成后對(duì)實(shí)時(shí)拍攝不同測(cè)試者手勢(shì)樣本進(jìn)行預(yù)測(cè),選取3 位測(cè)試者10 種不同手勢(shì)各50 張共1500 張樣本,收集手勢(shì)識(shí)別預(yù)測(cè)結(jié)果,如表2所示,可知,本文利用遷移學(xué)習(xí)訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)模型對(duì)實(shí)時(shí)獲取的靜態(tài)手勢(shì)識(shí)別準(zhǔn)確率較理想,平均準(zhǔn)確率達(dá)到96.3%,平均識(shí)別時(shí)間達(dá)到39.2 ms,在識(shí)別速度上基本滿(mǎn)足實(shí)際應(yīng)用需求.

4.3 方法對(duì)比與分析

將本文方法與傳統(tǒng)的手勢(shì)識(shí)別方法做對(duì)比,驗(yàn)證本文提出算法模型性能,對(duì)比結(jié)果如表3所示.

文獻(xiàn)[2]中方法參數(shù)量大,計(jì)算速度慢導(dǎo)致模型識(shí)別速度慢效率低.文獻(xiàn)[6]中方法對(duì)于手勢(shì)區(qū)域在整體圖像所占比例的干擾較大.文獻(xiàn)[7]識(shí)別速度快,無(wú)法排除手指并攏的手勢(shì)干擾,識(shí)別準(zhǔn)確率較低.文獻(xiàn)[8]中能排除一定噪聲干擾,網(wǎng)絡(luò)結(jié)構(gòu)較簡(jiǎn)單泛化性能較差.本文方法在識(shí)別準(zhǔn)確率突出,識(shí)別反饋速度較快,內(nèi)因在于采用SVM 進(jìn)行手勢(shì)分割后得到的二值化樣本純凈,特征利于網(wǎng)絡(luò)學(xué)習(xí),遷移學(xué)習(xí)方式構(gòu)建的網(wǎng)絡(luò)模型層數(shù)深,對(duì)特征的學(xué)習(xí)能力強(qiáng),善于分類(lèi),在模型設(shè)計(jì)和參數(shù)訓(xùn)練的時(shí)間上相較傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)花費(fèi)少,泛化性能強(qiáng).

圖6 學(xué)習(xí)效率對(duì)模型的影響

表1 不同批次大小模型訓(xùn)練結(jié)果

表2 測(cè)試結(jié)果

表3 各種手勢(shì)識(shí)別算法對(duì)比

5 結(jié)論

本文方法將支持向量機(jī)和遷移學(xué)習(xí)相結(jié)合,利用SVM 進(jìn)行手勢(shì)分割取得的效果相比其他顏色空間手勢(shì)分割方式的效果較好,具有較好的魯棒性和靈活調(diào)整能力;利用遷移學(xué)習(xí)將已訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)作為基礎(chǔ),訓(xùn)練全連接層參數(shù),需要的訓(xùn)練數(shù)據(jù)集較少,大量縮減卷積神經(jīng)網(wǎng)絡(luò)構(gòu)建和網(wǎng)絡(luò)的訓(xùn)練時(shí)間,取得96.3%的平均識(shí)別準(zhǔn)確率和39.2 ms 的平均識(shí)別反饋時(shí)間,基本能滿(mǎn)足實(shí)際應(yīng)用需求.