李 光,王長(zhǎng)元,薛鵬翔

1(西安工業(yè)大學(xué) 兵器科學(xué)與技術(shù)學(xué)院,西安 710021)

2(西安工業(yè)大學(xué) 計(jì)算機(jī)科學(xué)與工程學(xué)院,西安 710021)

3(西安工業(yè)大學(xué) 理學(xué)院,西安 720021)

在計(jì)算機(jī)領(lǐng)域不斷發(fā)展的今天,飛行模擬器[1,2]以其安全性、經(jīng)濟(jì)性、可靠性、高逼真度等特點(diǎn),特別是混合現(xiàn)實(shí)技術(shù)的發(fā)展給操作員提供了很大的沉浸感,已經(jīng)成為飛行員訓(xùn)練和飛機(jī)研發(fā)過程中不可或缺的試驗(yàn)仿真設(shè)備,飛行模擬作為虛擬交互的典型應(yīng)用之一,對(duì)手部自然交互[3,4]要求比較高,需求也極為迫切.由于接觸式測(cè)量方式價(jià)格成本高昂,人的動(dòng)作容易受到硬件設(shè)備的約束,阻礙人手完成自然的肢體動(dòng)作,在自然性和精度方面受到限制,所以目前基于計(jì)算機(jī)視覺手部交互方式在各行各業(yè)都有重大意義.

飛行模擬環(huán)境下的手勢(shì)需要操縱油門、操作桿等,其傳統(tǒng)的膚 色分割容易受到面部膚色的影響,其手部輪廓特征太單一,而且采用傳統(tǒng)的傅里葉描述子又容易受到背景、手的姿態(tài)變化等影響,在其飛行模擬操作下都會(huì)受到遮擋影響,從而影響其識(shí)別精度.

基于計(jì)算機(jī)視覺的手勢(shì)識(shí)別中,手勢(shì)分割中文獻(xiàn)[5]用膚色分割法和SVM 對(duì)手勢(shì)進(jìn)行識(shí)別；基于運(yùn)動(dòng)的分割方法,例如幀間差分法[6]；運(yùn)用Kinect 基于深度的圖像[7]等.特征提取中用手勢(shì)圖的灰度、顏色等信息[8],這些特征容易獲得,但是容易受到環(huán)境光照影響；統(tǒng)計(jì)特征中包括梯度方向直方圖(HOG)[9]等；基于形狀不同的表示方式,如傅里葉描繪子[10]、基于邊界特征點(diǎn)[11]、不變矩[12]等.本文就是基于膚色和手勢(shì)輪廓進(jìn)行特征提取,結(jié)合特征點(diǎn)連接骨架進(jìn)行傅里葉描述子特征提取.

手勢(shì)識(shí)別算法有很多種.例如支持向量機(jī)、基于模板[13]、基于卷積神經(jīng)網(wǎng)絡(luò)[14]、隱馬爾科夫模型[15]、動(dòng)態(tài)時(shí)間規(guī)整[16]等.針對(duì)本文的小樣本和快速計(jì)算選用支持向量機(jī)進(jìn)行分類.

1 主要?jiǎng)?chuàng)新點(diǎn)

本文方法的創(chuàng)新點(diǎn)是首先根據(jù)不同光照環(huán)境通過最大類間方差法[17]來求取二值化圖像中的最佳閾值從而適應(yīng)光照變化,其次在傳統(tǒng)的膚色分割上結(jié)合手部特征點(diǎn)進(jìn)行區(qū)域分割,解決飛行模擬環(huán)境下的臉部膚色、遮擋、光照影響；然后進(jìn)行手部輪廓和手部特征點(diǎn)連接骨架的傅里葉描述子特征提取,解決傅里葉描述子特征易受到背景、手的姿態(tài)變化影響的問題,并且為了實(shí)現(xiàn)縮放不變性,對(duì)變換系數(shù)做了歸一化處理.最后,用支持向量機(jī)對(duì)數(shù)據(jù)進(jìn)行訓(xùn)練、識(shí)別.本文工作流程圖如圖1所示.

圖1 工作流程圖

手部特征點(diǎn)主要是基于美國(guó)CMU Perceptual Computing Lab 開源的手部關(guān)鍵點(diǎn)檢測(cè)模型[18,19].手部關(guān)鍵點(diǎn)檢測(cè)模型共輸出22 個(gè)關(guān)鍵點(diǎn),其中包括手部的21 個(gè)點(diǎn),第22 個(gè)點(diǎn)表示背景.通過22 個(gè)關(guān)鍵點(diǎn)能夠快速準(zhǔn)確地定位出手部的位置,并且能夠很好地分割出手部區(qū)域.如圖2,為手部標(biāo)注的21 個(gè)特征點(diǎn).手部關(guān)鍵點(diǎn)結(jié)合膚色輪廓特征對(duì)其手勢(shì)遮擋具有抵抗作用,并且結(jié)合手勢(shì)輪廓能夠很好地表示手勢(shì).本文通過此方法提取手勢(shì)特征,再通過SVM 分類識(shí)別方法進(jìn)行飛行模擬環(huán)境下靜態(tài)手勢(shì)模型訓(xùn)練和手勢(shì)識(shí)別.

圖2 手部標(biāo)注的21 個(gè)特征點(diǎn)

2 手部特征提取

2.1 改進(jìn)的手部區(qū)域分割算法

首先分割出手勢(shì)的區(qū)域,后面才能進(jìn)行特征提取.2015年,文獻(xiàn)[9]使用Kinect 研究了基于深度圖像的3D 手勢(shì)識(shí)別,識(shí)別率達(dá)76.6%.但其識(shí)別率并不高,并且還有Kinect 攝像頭的限制.膚色是人體手部最顯著的特征.本文采用常規(guī)的膚色檢測(cè),對(duì)手部進(jìn)行膚色信息提取,但是常常會(huì)有一部分的面部膚色等干擾,結(jié)合特征點(diǎn)對(duì)手部分割,提高其準(zhǔn)確性；而且傳統(tǒng)膚色處理容易受到不同光照的影響,本文根據(jù)不同光照環(huán)境通過最大類間方差法來求取二值化圖像中的最佳閾值從而適應(yīng)光照變化,以提高其魯棒性.

在諸多彩色模型中,膚色在YCbCr 顏色空間中有很好的聚類特性,并且YCbCr 顏色空間對(duì)光照變化不敏感,所以可以利用這種特性來區(qū)分手勢(shì)區(qū)域,其中Y表示亮度,分量Cb表示藍(lán)色分量和亮度值之差,分量Cr反映了RGB 輸入信號(hào)紅色部分與亮度值之間的差異.如圖3所示.

圖3 YCbCr 分量直方圖

在YCbCr 空間,膚色像素點(diǎn)會(huì)聚集到一個(gè)橢圓區(qū)域.先定義一個(gè)橢圓模型,然后將每個(gè)RGB 像素點(diǎn)轉(zhuǎn)換到Y(jié)CbCr 空間比對(duì)是否在橢圓區(qū)域,是的話判斷為皮膚.本文將從視頻中獲取的幀圖像從RGB 空間轉(zhuǎn)換到Y(jié)CbCr 空間以實(shí)現(xiàn)膚色的檢測(cè).RGB 空間與YCbCr空間之間的轉(zhuǎn)換公式為：

本文采用基于YCbCr 空間的OTSU 自適應(yīng)閾值算法作為圖像分割算法.

OTSU 算法[13](大津法或最大類間方差法)使用的是聚類的思想,把圖像的灰度數(shù)按灰度級(jí)分成2 個(gè)部分,使得兩個(gè)部分之間的灰度值差異最大,每個(gè)部分之間的灰度差異最小,通過方差的計(jì)算來尋找一個(gè)合適的灰度級(jí)別來劃分.所以可以在二值化的時(shí)候采用OTSU算法來自動(dòng)選取閾值進(jìn)行二值化.

設(shè)t為設(shè)定的閾值,w0 為分開后前景像素點(diǎn)數(shù)占圖像的比例,u0 為分開后前景像素點(diǎn)的平均灰度,w1 為分開后背景像素點(diǎn)數(shù)占圖像的比例,u1 為分開后背景像素點(diǎn)的平均灰度.

圖像總平均灰度為：

從L個(gè)灰度級(jí)遍歷t,使得t為某個(gè)值的時(shí)候,前景和背景的方差最大,則這個(gè)t值便是我們要求得的閾值.其中,方差的計(jì)算公式如下：

此公式計(jì)算量較大,可以采用：

OTSU 算法被認(rèn)為是圖像分割中閾值選取的最佳算法,計(jì)算簡(jiǎn)單,不受圖像亮度和對(duì)比度的影響.因此,使類間方差最大的分割意味著錯(cuò)分概率最小.

本文選用的基于YCbCr 膚色模型和手勢(shì)特征關(guān)鍵點(diǎn)的分割方法能夠很好地解決面部膚色影響.圖像分割效果如圖4所示.

圖4 手勢(shì)部分圖像分割

2.2 傅里葉描述子特征提取

物體的形狀識(shí)別是模式識(shí)別的重要研究方向,廣泛用于圖像分析、機(jī)器視覺和目標(biāo)識(shí)別的應(yīng)用中.在計(jì)算機(jī)中物體的形狀表示方式有多種：邊界曲線上點(diǎn)的坐標(biāo)序列,邊界上的點(diǎn)到物體中心的距離以及邊界上的點(diǎn)隨弧長(zhǎng)變化的切線方向等.傅里葉描述子的基本思想是：假定物體的形狀是一條封閉的曲線如圖5所示,沿邊界曲線上的一個(gè)動(dòng)點(diǎn)P(l)的坐標(biāo)變化x(l)+iy(l)是一個(gè)以形狀邊界周長(zhǎng)為周期的函數(shù),這個(gè)周期函數(shù)可以用傅里葉級(jí)數(shù)展開表示,傅里葉級(jí)數(shù)中的一系列系數(shù)z(k)是直接與邊界曲線的形狀有關(guān)的,稱為傅里葉描述子.

圖5 假定的封閉曲線

此函數(shù)是連續(xù)的周期的,所以可以通過傅里葉級(jí)數(shù)來表示：

式中,ak就是傅里葉描繪子.

傅立葉描述子算法優(yōu)點(diǎn)可以很好地描述輪廓特征,并且只需少量的描述子即可大致代表整個(gè)輪廓.傅里葉描述子與輪廓形狀的尺度、方向和起始點(diǎn)有關(guān),對(duì)傅立葉描述字進(jìn)行簡(jiǎn)單的歸一化操作后,即可使描述子具有平移、旋轉(zhuǎn)、尺度不變性,即不受輪廓在圖像中的位置、角度及輪廓的縮放等影響,是一個(gè)魯棒性較好的圖像特征.

圖6 手部邊緣輪廓

對(duì)手部的輪廓特征提取如圖6所示.傅里葉描述子提取物理特征雖說計(jì)算快速簡(jiǎn)單,易受到背景、手的姿態(tài)變化,且對(duì)手勢(shì)描述能力有限等問題.本文在手勢(shì)輪廓的基礎(chǔ)上增加了手勢(shì)關(guān)鍵點(diǎn)的輪廓特征如圖7所示,這樣提取的手勢(shì)特征能夠更好的表示手勢(shì),并且具有一定的魯棒性.

圖7 結(jié)合特征點(diǎn)連接骨架的手勢(shì)輪廓

3 支持向量機(jī)算法

本文通過在飛行模擬環(huán)境下的計(jì)算需求和樣本條件下,選擇支持向量機(jī)作為分類算法.支持向量機(jī)(Support Vector Machine,SVM)是一種非常重要和廣泛的機(jī)器學(xué)習(xí)算法,SVM 的算法出發(fā)點(diǎn)是盡可能找到最優(yōu)的決策邊界,這個(gè)邊界距離兩類數(shù)據(jù)點(diǎn)最遠(yuǎn).更進(jìn)一步的,是距離兩類數(shù)據(jù)點(diǎn)的邊界最遠(yuǎn),所以定義最接近邊界的數(shù)據(jù)點(diǎn)定義為支持向量.最后,我們的目標(biāo)變?yōu)檎业竭@樣一個(gè)直線(多維叫超平面),它與支持向量有最大的間隔.使得模型的泛化能力盡可能的好,因此SVM 對(duì)未來數(shù)據(jù)的預(yù)測(cè)也是更加準(zhǔn)確的如圖8所示,尋找最大化margin.

圖8 分類模型圖

設(shè)這個(gè)平面用g(x)=0 來表示,其法向量用w表示,點(diǎn)與平面實(shí)際距離為r點(diǎn),與平面的距離可以用g(x)的絕對(duì)值來度量(稱為函數(shù)間隔).

懲罰函數(shù)亦稱處罰函數(shù),是一類制約函數(shù).對(duì)于約束非線性規(guī)劃它的制約函數(shù)稱為懲罰函數(shù),系數(shù)稱為懲罰因子.引入懲罰因子C的SVM(軟間隔支持向量機(jī))的目標(biāo)函數(shù)為：

SVM 是一種有堅(jiān)實(shí)理論基礎(chǔ)的新穎的小樣本學(xué)習(xí)方法.它基本上不涉及概率測(cè)度及大數(shù)定律等,因此不同于現(xiàn)有的統(tǒng)計(jì)方法.從本質(zhì)上看,它避開了從歸納到演繹的傳統(tǒng)過程,實(shí)現(xiàn)了高效的從訓(xùn)練樣本到預(yù)報(bào)樣本的“轉(zhuǎn)導(dǎo)推理”,大大簡(jiǎn)化了通常的分類和回歸等問題.模型圖如圖9.

圖9 引入C,ξ的分類模型圖

4 實(shí)驗(yàn)分析

本文使用作者實(shí)驗(yàn)室的項(xiàng)目中飛行模擬環(huán)境中的采集的手勢(shì)數(shù)據(jù)集,該數(shù)據(jù)集中所有的 數(shù)據(jù)在室內(nèi)的自然光下收集,沒有任何特殊光照,收集的設(shè)備是的普通攝像機(jī),一共8 種手勢(shì)(推動(dòng)油門、手持操作桿、自然狀態(tài)、基本的指令手勢(shì)等).數(shù)據(jù)集共3200 張,每個(gè)手勢(shì)400 張,共10 個(gè)人參與,參與者均是模擬飛行環(huán)境中的隨機(jī)采取手勢(shì)圖片,每人采集數(shù)目不等.同時(shí)利用旋轉(zhuǎn)平移等操作對(duì)得到的手勢(shì)庫(kù)進(jìn)行擴(kuò)充.然后對(duì)整個(gè)手勢(shì)庫(kù)中的每張照片中的手勢(shì)輪廓線計(jì)算傅里葉描述子并保存,保存格式為“x_i”,表示手勢(shì)_x 的第i張圖片.訓(xùn)練集與測(cè)試集按3：1 的比率分配.測(cè)試集800 張,訓(xùn)練集2400 張.圖10經(jīng)過膚色處理的手勢(shì)數(shù)據(jù)集片段；圖11是經(jīng)過關(guān)鍵特征點(diǎn)的手勢(shì)數(shù)據(jù)集片段.

圖10 經(jīng)過膚色處理的手勢(shì)數(shù)據(jù)集

本文提出的算法在Python 中實(shí)現(xiàn),手勢(shì)識(shí)別準(zhǔn)確率在98%.實(shí)驗(yàn)結(jié)果見表1.

圖11 經(jīng)過關(guān)鍵特征點(diǎn)的手勢(shì)數(shù)據(jù)集

表1 手勢(shì)識(shí)別實(shí)驗(yàn)結(jié)果

4.1 實(shí)驗(yàn)結(jié)果對(duì)比

表2為使用本文方法與其他文獻(xiàn)作對(duì)比,文獻(xiàn)[20]提出用YCbCr 色彩空間檢測(cè)膚色對(duì)輸入的圖像分割出感興趣的手勢(shì)區(qū)域,然后再通過深度學(xué)習(xí)的方法訓(xùn)練出手勢(shì)識(shí)別的模型.文獻(xiàn)[9]從圖像的3D 數(shù)據(jù)出發(fā),以Kinect 作為輸入設(shè)備,提出了一個(gè)基于深度圖像的3D手勢(shì)識(shí)別系統(tǒng)框架.文獻(xiàn)[21]采用表面肌電(sEMG)信號(hào)進(jìn)行手勢(shì)識(shí)別,sEMG 采集的趨勢(shì)之一是帶有等距電極的多通道臂帶.即通過逐步進(jìn)行包裝器選擇特征和減少維數(shù)提高sEMG 的分類性能.考慮到40 個(gè)維度,對(duì)于帶有高斯核的支持向量機(jī)和LMNN 技術(shù)的結(jié)合,平均精度為94%.而本文采用膚色結(jié)合特征點(diǎn)對(duì)手部分割、特征提取,并用SVM 向量機(jī)針對(duì)飛行模擬環(huán)境下的手勢(shì)進(jìn)行識(shí)別,準(zhǔn)確率達(dá)到98%.

表2 本文與其他文獻(xiàn)對(duì)比

5 結(jié)論與展望

本文結(jié)合現(xiàn)有的美國(guó)CMU Perceptual Computing Lab 開源的手部關(guān)鍵點(diǎn)檢測(cè)模型,使用膚色進(jìn)行二值化處理,結(jié)合手部關(guān)鍵點(diǎn)準(zhǔn)確分割手勢(shì),接著對(duì)圖像進(jìn)行腐蝕膨脹處理,在對(duì)手勢(shì)輪廓特征提取的基礎(chǔ)上加上手部關(guān)鍵點(diǎn)特征經(jīng)過SVM 訓(xùn)練和測(cè)試實(shí)驗(yàn)后可知,此算法可以在飛行模擬環(huán)境中,面對(duì)背景復(fù)雜,遮擋影響,光照影響,能夠有效地進(jìn)行特征提取,極大地提高了手勢(shì)識(shí)別效率.對(duì)于靜態(tài)手勢(shì)識(shí)別平均識(shí)別率能夠達(dá)到98%.論文不足點(diǎn)：當(dāng)面部和手部有重合時(shí),特征提取時(shí)有一定的影響.因此本文在手勢(shì)識(shí)別的完善上還有一定的提升空間,接下來將進(jìn)一步研究.