曹 潔 ，趙修龍 ，王進(jìn)花

1.蘭州理工大學(xué) 計(jì)算機(jī)與通信學(xué)院，蘭州 730050 2.蘭州理工大學(xué) 電氣工程與信息工程學(xué)院，蘭州 730050

融合改進(jìn)指尖點(diǎn)和Hu矩的手勢(shì)識(shí)別

曹 潔1，2，趙修龍1，王進(jìn)花2

1.蘭州理工大學(xué) 計(jì)算機(jī)與通信學(xué)院，蘭州 730050 2.蘭州理工大學(xué) 電氣工程與信息工程學(xué)院，蘭州 730050

基于輪廓的識(shí)別算法能夠很好地處理手勢(shì)的外觀變化，但現(xiàn)有的識(shí)別算法在目標(biāo)旋轉(zhuǎn)和縮放時(shí)其識(shí)別率和魯棒性較低，針對(duì)這一問(wèn)題提出了一種基于指尖點(diǎn)和Hu不變矩的手勢(shì)識(shí)別方法。該方法對(duì)基于曲率的指尖檢測(cè)方法進(jìn)行改進(jìn)，增強(qiáng)指尖點(diǎn)特征提取的魯棒性；融合Hu不變矩和指尖點(diǎn)特征，提高手勢(shì)模型的全局描述性；利用能夠自動(dòng)添加新手勢(shì)的識(shí)別算法，提高算法的實(shí)用性。實(shí)驗(yàn)表明，該方法在滿足實(shí)時(shí)性的基礎(chǔ)上有效地提高了手勢(shì)識(shí)別的準(zhǔn)確性和魯棒性。

手勢(shì)識(shí)別；指尖檢測(cè)；曲率計(jì)算；Hu不變矩

1 引言

隨著計(jì)算機(jī)科學(xué)的發(fā)展，人機(jī)交互技術(shù)成為一個(gè)熱門(mén)的研究領(lǐng)域，而通過(guò)基于視覺(jué)的手勢(shì)識(shí)別方法進(jìn)行人機(jī)交互也受到了人們的廣泛關(guān)注[1-2]?；谝曈X(jué)的手勢(shì)識(shí)別方法可以分為基于單目視覺(jué)的手勢(shì)識(shí)別和基于多目視覺(jué)的手勢(shì)識(shí)別，其中，基于多目視覺(jué)的方法表達(dá)的意義較為豐富、準(zhǔn)確，但建模難度高，計(jì)算量大；基于單目視覺(jué)的方法雖然豐富度有限，但建模難度較低，計(jì)算量較小[3]。在基于視覺(jué)的手勢(shì)識(shí)別中如無(wú)特別指出，基本上都是指基于單目視覺(jué)的手勢(shì)識(shí)別。

目前常見(jiàn)的手勢(shì)識(shí)別方法有很多種。如文獻(xiàn)[4]中提出了一種Hu不變矩與BoF-SURF（快速魯棒特征的特征包，Bag of Features-Speeded up Robust Feature）特征的手勢(shì)識(shí)別方法，但是數(shù)據(jù)的訓(xùn)練比較復(fù)雜，并且無(wú)法自動(dòng)添加新的手勢(shì)；文獻(xiàn)[5]中提出了一種基于RGB-D圖像的手勢(shì)識(shí)別方法，該方法利用3D手型輪廓特征降低手勢(shì)匹配的復(fù)雜度，能夠識(shí)別較為復(fù)雜的手勢(shì)動(dòng)作，且識(shí)別的準(zhǔn)確率較高，但是其識(shí)別方法比較復(fù)雜并且需要使用深度攝像頭作為輸入設(shè)備；此外還有基于傅里葉描述子[6]，基于MB-LBP（多級(jí)區(qū)域局部二值模式，Multi-Block Local Binary Pattern）紋理信息，利用Hausdorff距離[7-8]，基于小波矩[9]，基于混合高斯模型[10]等的手勢(shì)識(shí)別方法。在這些方法所使用的手勢(shì)特征中以輪廓特征中的指尖特征為最常見(jiàn)，指尖特征的提取方法有很多種，如文獻(xiàn)[11-12]提出了基于輪廓曲率特征的指尖檢測(cè)方法，該方法在簡(jiǎn)單背景下的檢測(cè)效率比較高，但是無(wú)法分別檢測(cè)出并列指尖點(diǎn)和單個(gè)指尖點(diǎn)。此外還有利用手勢(shì)的凸包特征檢測(cè)指尖點(diǎn)[13]，將手勢(shì)二值圖像進(jìn)行網(wǎng)格分割，進(jìn)而檢測(cè)指尖點(diǎn)[14]，根據(jù)圖像的梯度圖特征檢測(cè)指尖點(diǎn)[15]，利用圓截法檢測(cè)指尖點(diǎn)[16]。手勢(shì)的模型也多種多樣，如文獻(xiàn)[17]中結(jié)合手指?jìng)€(gè)數(shù)、手部幾何特征以及膚色特征，提出一種手勢(shì)的Tortoise模型，該模型雖然能簡(jiǎn)潔地描述手勢(shì)，但由于它的對(duì)稱(chēng)性，使其難以區(qū)分兩相互對(duì)稱(chēng)的手勢(shì)；文獻(xiàn)[18]提出了一種多模型融合的手勢(shì)跟蹤方法，該方法跟蹤精度較高，但手勢(shì)模型和跟蹤方法都比較復(fù)雜，算法實(shí)時(shí)性較差。

由上文分析知，現(xiàn)有的手勢(shì)識(shí)別方法在準(zhǔn)確性、實(shí)時(shí)性和魯棒性方面都存在一些缺陷。為了在保證識(shí)別算法實(shí)時(shí)性的基礎(chǔ)上，提高識(shí)別的準(zhǔn)確性和魯棒性，本文提出了一種基于單目視覺(jué)，融合指尖點(diǎn)和Hu不變矩的手勢(shì)識(shí)別方法。首先為了提高手指檢測(cè)的準(zhǔn)確性和魯棒性，并使之能夠分開(kāi)檢測(cè)出單指尖點(diǎn)和并列指尖點(diǎn)，在原有基于曲率的指尖檢測(cè)基礎(chǔ)上，本文重新定義曲率計(jì)算所需輔助點(diǎn)的選取標(biāo)準(zhǔn)，提出分別檢測(cè)單指尖點(diǎn)和并列指尖點(diǎn)的方法；然后融合手勢(shì)的Hu不變矩和指尖點(diǎn)特征，提出一種改進(jìn)型的手勢(shì)模型，這一模型不僅包含手部局部特征而且還包含手部全局特征，能夠更加全面地描述手勢(shì)的總體特征；最后利用一種實(shí)時(shí)性和準(zhǔn)確性較好，并且能自動(dòng)添加新手勢(shì)的識(shí)別算法完成手勢(shì)識(shí)別。

2 手勢(shì)特征提取

2.1 膚色檢測(cè)與輪廓提取

盡管人的膚色都有不同，但是排除光照強(qiáng)度等的影響后，皮膚的色調(diào)基本一致。Hsu等經(jīng)過(guò)了大量的統(tǒng)計(jì)膚色點(diǎn)提出了一種在YCb’Cr’空間中利用Cb’Cr’區(qū)域內(nèi)采用橢圓模型來(lái)描述膚色分布，去除了光照強(qiáng)度Y對(duì)膚色檢測(cè)的影響，并應(yīng)用于人臉檢測(cè)，取得了較好的效果，具體步驟參考文獻(xiàn)[19-20]。本文將該方法應(yīng)用于手勢(shì)分割中，使其在不同光照下都有較好的分割效果，提高了整體算法的魯棒性和準(zhǔn)確性。

Canny邊緣檢測(cè)算法是由Canny于1986年首次提出，經(jīng)過(guò)多年的發(fā)展，它已基本滿足信噪比，定位精度，單邊緣響應(yīng)三大最優(yōu)準(zhǔn)則[21-22]。它能夠很好地抑制噪聲同時(shí)又能很好地保證邊緣檢測(cè)的效果。本文利用Canny邊緣檢測(cè)算法提取出手勢(shì)的輪廓信息，為后續(xù)的輪廓特征提供數(shù)據(jù)基礎(chǔ)。

2.2 基于曲率的類(lèi)指尖點(diǎn)檢測(cè)

指尖點(diǎn)特征能夠直觀、準(zhǔn)確地描述手勢(shì)，是人們最常用的手勢(shì)特征。由于曲率計(jì)算比較簡(jiǎn)單方便，利于算法實(shí)現(xiàn)，因此大多數(shù)研究中都是通過(guò)曲率計(jì)算得到指尖點(diǎn)特征的。

經(jīng)過(guò)曲率閾值檢測(cè)到的指尖點(diǎn)稱(chēng)為“類(lèi)指尖點(diǎn)”，之所以稱(chēng)為“類(lèi)指尖點(diǎn)”而不是直接稱(chēng)為“指尖點(diǎn)”是由于該點(diǎn)還不能確定為指尖點(diǎn)。曲率是表示曲線在某一點(diǎn)的彎曲程度的量，曲率越大，表明曲線的彎曲程度越大。

各點(diǎn)的曲率計(jì)算：選取距點(diǎn) p的距離為L(zhǎng)的前后兩個(gè)輪廓點(diǎn) p1、p2，如圖1所示。利用式（1）計(jì)算各點(diǎn)的cosT值表示曲率；然后設(shè)定閾值ΔT，對(duì)所有大于ΔT的點(diǎn)聚類(lèi)，各聚類(lèi)中心點(diǎn)即為類(lèi)指尖點(diǎn)。此時(shí)得到的類(lèi)指尖點(diǎn)中包括很多的凹點(diǎn)，本文利用向量p1p×pp2的符號(hào)將其剔除。

圖1 指尖判定原理圖

在進(jìn)行手勢(shì)識(shí)別時(shí)，手勢(shì)的尺度由于采集位置和設(shè)備而發(fā)生變化，而L的取值對(duì)類(lèi)指尖點(diǎn)檢測(cè)影響較大，因此L值的選取變的尤為關(guān)鍵。圖2為手勢(shì)輪廓曲率與L取值的對(duì)應(yīng)關(guān)系圖，其中L的單位為像素個(gè)數(shù)，方框的位置從左至右依次對(duì)應(yīng)指尖點(diǎn)F1到F5，三角形對(duì)應(yīng)指間凹槽點(diǎn)B的位置，圓形對(duì)應(yīng)A1、A2的輪廓位置，圖的橫坐標(biāo)表示輪廓點(diǎn)的序列值，縱坐標(biāo)為曲率值，取值范圍為[1，-1]。

由圖2可看出當(dāng)L=20時(shí)，輪廓的曲率變化不平滑，指尖點(diǎn)與非指尖點(diǎn)的曲率差別較小，難以找出較好的分割閾值；當(dāng)L=240時(shí)，雖然手掌輪廓的曲率變化比較平滑，并能夠找出單個(gè)手指的分割閾值，但對(duì)于并列手指（如圖中的小拇指，對(duì)應(yīng)最右邊的綠色點(diǎn)表示），較短手指的指尖點(diǎn)和周?chē)鼽c(diǎn)的曲率差別不明顯，難以找到有效的分割閾值；當(dāng)L=40或L=80時(shí)，雖然輪廓的曲率變化有所差別，但是總能找出較有效的分割閾值，使得分割出的各指尖點(diǎn)聚類(lèi)性較好。因此在手勢(shì)尺度發(fā)生變化時(shí)，若尋找出較好的分割閾值，L的取值不宜過(guò)大或過(guò)小，且應(yīng)隨手掌大小的變化而變化。

圖2 曲率與L對(duì)應(yīng)關(guān)系

本文取L=kW（其中W為手掌寬度，以手掌的內(nèi)接圓的直徑表示手掌的寬度，k為比例系數(shù)），這樣就使得針對(duì)不同大小的手型圖像，有與之相匹配的L取值，從而提高整體算法對(duì)圖像縮放的魯棒性。

2.3 改進(jìn)的指尖點(diǎn)檢測(cè)方法

傳統(tǒng)的基于曲率的指尖點(diǎn)檢測(cè)方法，一般只能檢測(cè)出手勢(shì)尺度適中的單個(gè)指尖點(diǎn)，難以滿足識(shí)別算法的要求。針對(duì)這一問(wèn)題，在上文曲率計(jì)算的基礎(chǔ)上，本文利用手指的形狀特征，提出了一種針對(duì)單指尖點(diǎn)和并列指尖點(diǎn)分別檢測(cè)判定的方法。該方法不但能夠較好地檢測(cè)數(shù)單指尖點(diǎn)，而且能夠檢測(cè)出并列指尖點(diǎn)，提高指尖點(diǎn)檢測(cè)的準(zhǔn)確性和指尖特征的豐富度。

2.3.1 單指尖點(diǎn)判定

單個(gè)手指的形狀類(lèi)似一個(gè)長(zhǎng)方形的一端加上一個(gè)半圓，其特點(diǎn)是手指的中間部位的寬度基本不變，由這一特點(diǎn)本文采用如下檢測(cè)方法：

步驟1計(jì)算距類(lèi)指尖點(diǎn)為Wf、1.25Wf、1.5Wf、1.75Wf、2Wf、2.25Wf的六處輪廓寬度，如圖1中 d1、d2、d3、d4、d5、d6所示，其中Wf為擬定平均手指寬度Wf，取Wf=kW ，k為比例系數(shù)，本文取9/40。

步驟2計(jì)算步驟1中的六個(gè)寬度的均方差S，兩兩間的最大差值dm以及均值dE。

步驟3若步驟2中各值滿足式（2）則判定為單指尖點(diǎn)，其中Δm為最大差值比閾值，ΔS為方差閾值，ΔE為均值偏差閾值。

2.3.2 并列指尖點(diǎn)判定

并列手指的形狀可視為幾個(gè)單個(gè)手指不對(duì)齊疊放，其特點(diǎn)為相鄰兩指尖點(diǎn)間的輪廓距離較??；從最長(zhǎng)的指尖到指根，并指的寬度呈梯度變化，且變化梯度約為一個(gè)手指寬度。其判定步驟如下：

步驟1設(shè)定合適的輪廓距離閾值Δth，對(duì)小于Δth的類(lèi)指尖點(diǎn)聚類(lèi)，記各聚類(lèi)中點(diǎn)的數(shù)目為n，剔除n=1的點(diǎn)。

步驟2計(jì)算類(lèi)內(nèi)各點(diǎn)與手心間距離，并根據(jù)距離的大小進(jìn)行類(lèi)內(nèi)排序。

步驟3對(duì)于距離手心最近的類(lèi)指尖點(diǎn)，計(jì)算手心方向，距離該點(diǎn)Wf/2處的輪廓寬度，如圖1中的d7。

步驟4 根據(jù)式（3）得 n′0，判斷其是否滿足 n′0=n ，若滿足則執(zhí)行步驟8，否則執(zhí)行步驟5。

步驟5計(jì)算排序后的相鄰類(lèi)指尖點(diǎn)切線間并指的寬度，如圖1中切線b1，b2間的寬度d8，根據(jù)式（3）依次得出 n′1,…,n′n-1。

步驟6 若 n′i≥ n′i-1(i=2,…,n-1)或 n′i=0 ；則剔除n′i和與其對(duì)應(yīng)的類(lèi)指尖點(diǎn)，改變n的值。

步驟7 判斷由步驟6得到的n′1,…,n′n-1是否滿足式（4），其中Δn為設(shè)定的閾值，若是則執(zhí)行步驟8，否則跳到步驟9。

步驟8判斷該類(lèi)各點(diǎn)為并指尖點(diǎn)，個(gè)數(shù)為n。

步驟9判斷是否完成對(duì)所有類(lèi)的計(jì)算，若是完成整個(gè)手勢(shì)的并指檢測(cè)，否則指向下一類(lèi)并跳轉(zhuǎn)到步驟2。

2.3.3 修正指尖點(diǎn)

由于提取的手勢(shì)輪廓不平滑，在強(qiáng)噪音下甚至?xí)l(fā)生形變，所以得到的指尖點(diǎn)可能不準(zhǔn)確，為了提高指尖點(diǎn)檢測(cè)的準(zhǔn)確率，對(duì)指尖點(diǎn)做以下修正：

（1）單指尖點(diǎn)間的輪廓距離應(yīng)大于Δth，否則剔除距離手心近的指尖點(diǎn)。

（2）各指尖點(diǎn)到手心的距離應(yīng)大于閾值Δdt，否則剔除該指尖點(diǎn)。

（3）當(dāng)類(lèi)指尖點(diǎn)即被判定為單指尖點(diǎn)又被判定為并列指尖點(diǎn)時(shí)，該點(diǎn)最終判定為并列指尖點(diǎn)。

2.4 Hu不變矩

Hu不變矩是由Hu.M.K于1962年構(gòu)造的七個(gè)矩的不變量，它們對(duì)圖像的旋轉(zhuǎn)、尺度和平移變化都具有良好的魯棒性。與局部幾何特征不同，Hu矩是對(duì)圖像全局特征的描述，這一特點(diǎn)恰到好處地彌補(bǔ)了指尖特征缺乏全局性這一缺點(diǎn)。Hu不變矩均由二階和三階中心矩的線性組合構(gòu)成，具體表達(dá)式如式（5）。其中，歸一化的幾何矩為

3 基于指尖點(diǎn)和Hu不變矩的手勢(shì)識(shí)別

3.1 手部模型

在進(jìn)行基本的手勢(shì)訓(xùn)練和手型匹配時(shí)，通常將手部分解為手掌和手指兩個(gè)部分，這樣不僅形象、準(zhǔn)確、而且便于識(shí)別?；谶@一特點(diǎn)，在考慮了手部的局部特征和全局特征后，本文提出了一種便于表達(dá)手部特征的手部模型，如式（6）所示：

滿足的約束條件如式（7）所示：

其中n1為單指尖點(diǎn)個(gè)數(shù)，n2為并列指尖點(diǎn)個(gè)數(shù)，γ為指尖距掌心的距離與手掌寬度的比值，θ為相鄰指尖點(diǎn)間的夾角，h1,h2,…,h7為手勢(shì)圖像的七個(gè)Hu不變矩。

本文的手勢(shì)模型具有以下優(yōu)勢(shì)：

（1）采用的各特征對(duì)手勢(shì)的旋轉(zhuǎn)，平移以及縮放都有很好的魯棒性。這就很好地保證了采集的特征在手勢(shì)旋轉(zhuǎn)和尺度變化時(shí)變化很小，從而為后期的識(shí)別提高較好的信息來(lái)源。

（2）該模型能夠較為全面地表述手部特征信息。本文模型中既有手指?jìng)€(gè)數(shù)、長(zhǎng)度比例、手指間的夾角等描述局部特征的信息，又有Hu不變矩表述全局特征的信息。

3.2 手勢(shì)庫(kù)訓(xùn)練

本文為了得到較好的手勢(shì)模板，提高手勢(shì)識(shí)別算法的準(zhǔn)確率，根據(jù)本文的手部模型特點(diǎn)設(shè)計(jì)了特定訓(xùn)練方法。對(duì)于本文的手勢(shì)模型而言，手指的單、并指?jìng)€(gè)數(shù)n1，n2是很明顯的一個(gè)量，不必再進(jìn)行訓(xùn)練；主要訓(xùn)練的是長(zhǎng)度比值γ，角度θ以及Hu不變距h1,h2,…,h7。訓(xùn)練方法如下：

步驟1輸入手勢(shì)圖像，提取其特征值作為模板向量F 的初值，如式（8）所示，其中n=n1+n2。

步驟2輸入手勢(shì)新圖像，提取特征值 f。根據(jù) f調(diào)整 F ，并計(jì)算式（9）、（10）。

步驟3判斷ΔH，Δm是否滿足閾值或訓(xùn)練次數(shù)達(dá)到上限，若其中之一滿足則完成訓(xùn)練，否則轉(zhuǎn)到步驟2。

3.3 手勢(shì)識(shí)別

本文依據(jù)手部模型的特點(diǎn)，采用先分類(lèi)后匹配的識(shí)別方法，并引入模糊理論中的隸屬度這一概念，完成手勢(shì)識(shí)別。對(duì)于手勢(shì)的各特征比較發(fā)現(xiàn)，Hu不變矩特征的數(shù)量等級(jí)與其他特征的數(shù)量等級(jí)相差比較大，所以在識(shí)別之前需要對(duì)其進(jìn)行歸一化處理，如式（11）所示。進(jìn)行手勢(shì)識(shí)別時(shí)，首先利用n1和n2的值將手勢(shì)模板分為待匹配模板和剔除模板兩類(lèi)，然后對(duì)待匹配模板類(lèi)中的手勢(shì)模板利用式（13）計(jì)算其隸屬度，進(jìn)行手勢(shì)識(shí)別。式（13）中 ω1,ω2,…,ω5為權(quán)值，為實(shí)驗(yàn)所得，權(quán)值滿足取值范圍為[0,1]，總和為1。在識(shí)別過(guò)程中，將待匹配模板類(lèi)中手勢(shì)模板數(shù)為零或隸屬度過(guò)低的手勢(shì)判斷為新手勢(shì)，并跳轉(zhuǎn)到手勢(shì)模板的訓(xùn)練和模板庫(kù)的更新中。

識(shí)別步驟如下：

步驟1輸入手勢(shì)圖像，提取特征值 f，判斷其是否滿足約束條件。若是則執(zhí)行步驟2，否則執(zhí)行步驟8。

步驟2針對(duì)特征值 f和各手勢(shì)模板F中的Hu矩特征，利用公式（11）做歸一化處理。

步驟3利用公式（12），將手勢(shì)模板分成待匹配模板和剔除模板兩類(lèi)，滿足式（12）為待匹配模板類(lèi)，否則為剔除模板類(lèi)。若待匹配模板類(lèi)中模板個(gè)數(shù)為0，執(zhí)行步驟6，否則執(zhí)行步驟4。

步驟4利用式（13）計(jì)算待識(shí)別手勢(shì)與待匹配模板類(lèi)中各模板的隸屬度σi。對(duì)剔除模板類(lèi)中各手勢(shì)模板直接剔除。

步驟5找出步驟4所得隸屬度的最大值σmax，判斷其是否滿足σmax≥Δσm，其中Δσm為最小隸屬度閾值，若是則執(zhí)行步驟7，否則執(zhí)行步驟6。

步驟6輸出未識(shí)別此手勢(shì)，提示再次輸入手勢(shì)圖像，若連續(xù)3次輸入的手勢(shì)圖像均不滿足σmax≥Δσm，提示為新手勢(shì)，跳入訓(xùn)練算法，生產(chǎn)新手勢(shì)模板并更新模板庫(kù)。

步驟7輸出最大隸屬度σmax對(duì)應(yīng)的手勢(shì)作為識(shí)別結(jié)果，完成本次手勢(shì)識(shí)別。

步驟8輸出未識(shí)別此手勢(shì)，進(jìn)入下次識(shí)別。

4 實(shí)驗(yàn)結(jié)果對(duì)比與分析

本文所有算法的實(shí)驗(yàn)環(huán)境是Win7 32位+VS2010+opencv2.4.9，電腦CPU為Intel?Core? i3 2.53 GHz，內(nèi)存4 GB（2.3 GB可用），硬盤(pán)為128 GB固態(tài)硬盤(pán)。本文中的百分比一律取小數(shù)點(diǎn)后1位有效數(shù)字，多出部分按四舍五入規(guī)則處理。

4.1 改進(jìn)的指尖點(diǎn)檢測(cè)方法實(shí)驗(yàn)結(jié)果與分析

針對(duì)改進(jìn)指尖點(diǎn)檢測(cè)方法在縮放和旋轉(zhuǎn)條件下，指尖點(diǎn)的檢測(cè)情況，本文由11個(gè)人，分別在正常手型、縮放手型和旋轉(zhuǎn)手型三種情況下，每人做10組單指手勢(shì)，10組并指手勢(shì)，共660幅手勢(shì)圖像作為實(shí)驗(yàn)樣本。實(shí)驗(yàn)結(jié)果如表1所示。

表1 指尖檢測(cè)情況表

由表1可以看出，從指尖類(lèi)別上來(lái)看本文的手指檢測(cè)算法對(duì)單指的檢測(cè)效果要比并指的效果好，本文的指尖檢測(cè)算法在縮放和旋轉(zhuǎn)變換情況下檢測(cè)的正確率變換較小，這說(shuō)明本文改進(jìn)的指尖檢測(cè)算法對(duì)縮放和旋轉(zhuǎn)變換的魯棒性較好。

將本文算法與傳統(tǒng)曲率檢測(cè)和凸包檢測(cè)指尖點(diǎn)的方法在相同情況下做對(duì)比實(shí)驗(yàn)，結(jié)果如表2所示。由表可看出，本文算法對(duì)手指指尖的檢測(cè)方法與另外兩種相比準(zhǔn)確率較高。這是因?yàn)槭紫缺疚乃惴ň哂刑囟ǖ尼槍?duì)并指的檢測(cè)算法；再者與基于曲率的直接檢測(cè)方法相比，本文在曲率計(jì)算上能夠根據(jù)手勢(shì)圖像的大小調(diào)整計(jì)算曲率所選取的輔助點(diǎn)的位置，使得其曲率的計(jì)算更加準(zhǔn)確，從而提高檢測(cè)效率。

表2 指尖檢測(cè)正確率對(duì)比表

4.2 手勢(shì)識(shí)別實(shí)驗(yàn)結(jié)果與分析

本文設(shè)定10種手勢(shì)，如圖3所示。在手勢(shì)識(shí)別的實(shí)驗(yàn)中，本文由11個(gè)人，在距離攝像不同距離并保持不同方位的5種情況下各做4次，一共進(jìn)行2 200次實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果如表3所示。以下各表中的平均運(yùn)行時(shí)間為從手勢(shì)特征提取到手勢(shì)匹配識(shí)別所消耗的總時(shí)間的平均值。

圖3 交互手勢(shì)效果圖

表3 各手勢(shì)識(shí)別率

由表3看出對(duì)于不同手勢(shì)，本文算法的識(shí)別率是不同的。手勢(shì)2的識(shí)別率較低的原因是由于指尖特征只有拇指特征，而本文的指尖檢測(cè)算法相對(duì)拇指的檢測(cè)率較低。手勢(shì)6、7較低的原因是手勢(shì)的指尖特征為混合型，這也是本文指尖檢測(cè)的一個(gè)缺點(diǎn)。手勢(shì)8、9的手勢(shì)檢測(cè)率相對(duì)較低，分析識(shí)別的數(shù)據(jù)發(fā)現(xiàn)這兩種手勢(shì)的錯(cuò)誤大多出現(xiàn)在被誤識(shí)別為對(duì)方手勢(shì)，這是由于這兩種手勢(shì)除Hu矩特征外其他特征信息較為相似。手勢(shì)10出錯(cuò)率較高，對(duì)其特征檢測(cè)分析發(fā)現(xiàn)，此手勢(shì)沒(méi)有指尖點(diǎn)，檢測(cè)的各特征易受臉部等外界信息干擾。雖然各手勢(shì)識(shí)別的識(shí)別率和識(shí)別所需時(shí)間不同，但是從總體來(lái)看，各手勢(shì)識(shí)別的正確率都較高，算法平均運(yùn)行所需時(shí)間均在400 ms以?xún)?nèi)，因此基本滿足人機(jī)交互的要求。

為了測(cè)試本文算法在不同光照強(qiáng)度情況下的識(shí)別情況，將10種手勢(shì)，由11個(gè)人分別在暗、一般和強(qiáng)光照情況下進(jìn)行5次實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如表4所示。由實(shí)驗(yàn)數(shù)據(jù)可知，本文識(shí)別方法在不同光照強(qiáng)度下，都具有較好的識(shí)別效果。

表4 不同光照強(qiáng)度下識(shí)別率與識(shí)別時(shí)間

針對(duì)本文方法和幾種現(xiàn)在常見(jiàn)手勢(shì)識(shí)別方法在相同環(huán)境下作對(duì)比試驗(yàn)，結(jié)果如表5所示。由數(shù)據(jù)可知本文的整體方案在綜合考慮識(shí)別率和識(shí)別時(shí)間兩方面，為相對(duì)最優(yōu)的手勢(shì)識(shí)別方案。

表5 各方法識(shí)別率與識(shí)別時(shí)間對(duì)比

第二種方案為單獨(dú)利用指尖點(diǎn)特征完成手勢(shì)識(shí)別。由于缺乏全局特征Hu不變矩，致使其識(shí)別率相對(duì)較低；第三種方案為利用SVM算法結(jié)合Hu不變矩特征完成手勢(shì)識(shí)別，由于Hu矩只能表述手勢(shì)的全局特征，缺乏局部特征，因此識(shí)別率比較低；第四種方案為利用Hu特征和BoF-SURF特征，通過(guò)SVM完成識(shí)別。雖然識(shí)別率和本文方法基本持平，但是其識(shí)別時(shí)間較長(zhǎng)。與本文識(shí)別方法相比，另外兩種方法難以實(shí)現(xiàn)新手勢(shì)的自動(dòng)添加。

5 結(jié)束語(yǔ)

本文提出了一種適用于實(shí)時(shí)應(yīng)用的手勢(shì)識(shí)別方法，該方法從手勢(shì)的特征提取和手勢(shì)模型兩方面改進(jìn)識(shí)別算法的性能，并從識(shí)別算法上增強(qiáng)手勢(shì)識(shí)別的交互性能。針對(duì)不同手勢(shì)本文方法在識(shí)別率和識(shí)別所用時(shí)間上略有不同，這是下一步改進(jìn)研究的重點(diǎn)；從總體來(lái)看，本文方法準(zhǔn)確率較高，識(shí)別時(shí)間較短，并且綜合考慮了系統(tǒng)對(duì)實(shí)時(shí)性、準(zhǔn)確性、魯棒性以及實(shí)用性等因素，基本滿足人機(jī)交互中對(duì)手勢(shì)識(shí)別算法的要求。

[1]Lee H C，Shih C Y，Lin T M.Computer-vision based hand gesture recognition and its application in iphone[J].Smart Innovation Systemsamp;Technology，2013，21：487-497.

[2]Rautaray S S，Agrawal A.Adaptive hand gesture recognition system for multiple applications[J].Communications in Computeramp;Information Science，2013，276：53-65.

[3]Premaratne P.Future trends in hand gesture recognition[M]//Human Computer Interaction Using Hand Gestures.Sigapore：Springer，2014：171-174.

[4]隋云衡，郭元術(shù).融合Hu矩與BoF-SURF支持向量機(jī)的手勢(shì)識(shí)別[J].計(jì)算機(jī)應(yīng)用研究，2014，31（3）：953-956.

[5]姚遠(yuǎn)，張林劍，喬文豹.RGB-D圖像中手部樣本標(biāo)記與手勢(shì)識(shí)別[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2013，25（12）：1810-1816.

[6]Tan W，Bian Z，Yang J，et al.Hand gesture shape descriptor based on energy-ratio and normalized fourier transform coefficients[C]//Lecture Notes in Computer Science，2014，8795：34-41.

[7]楊學(xué)文，馮志全，黃忠柱，等.結(jié)合手勢(shì)主方向和類(lèi)-Hausdorff距離的手勢(shì)識(shí)別[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2016，28（1）：75-81.

[8]孟春寧，呂建平，陳萱華.基于普通紅外攝像機(jī)的手勢(shì)識(shí)別[J].計(jì)算機(jī)工程與應(yīng)用，2015，51（16）：17-22.

[9]陳昆偉，郭星，吳建國(guó).基于手勢(shì)識(shí)別的文字輸入系統(tǒng)[J].計(jì)算機(jī)工程與應(yīng)用，2015，51（3）：66-68.

[10]王原，湯勇明，王保平.基于混合高斯模型的非固定握持姿勢(shì)手勢(shì)識(shí)別[J].東南大學(xué)學(xué)報(bào)，2014，44（2）：239-243.

[11]李博男，林凡.基于曲率的指尖檢測(cè)方法[J].南京航空航天大學(xué)學(xué)報(bào)，2012，44（4）：587-591.

[12]王松林，徐文勝.基于Kinect深度信息與骨骼信息的手指尖識(shí)別方法[J].計(jì)算機(jī)工程與應(yīng)用，2016，52（3）：169-173.

[13]翁漢良，戰(zhàn)蔭偉.基于視覺(jué)的多特征手勢(shì)識(shí)別[J].計(jì)算機(jī)工程與科學(xué)，2012，34（2）：123-127.

[14]楊端端，金連文，尹俊勛.手指書(shū)寫(xiě)漢字識(shí)別系統(tǒng)中的指尖檢測(cè)方法[J].華南理工大學(xué)學(xué)報(bào)：自然科學(xué)版，2007，35（1）：58-63.

[15]范瑋琦，方婷，魏明月.自然擺放的手圖像指根點(diǎn)提取方法[J].光電子·激光，2013，24（6）：1191-1197.

[16]張毅，劉鈺然，羅元.基于視覺(jué)的手勢(shì)識(shí)別方法及其在數(shù)字信號(hào)處理器上的實(shí)現(xiàn)[J].計(jì)算機(jī)應(yīng)用，2014，34（3）：833-836.

[17]王修輝，鮑虎軍.基于自適應(yīng)遺傳算法的手勢(shì)識(shí)別[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2007，19（8）：1056-1062.

[18]林燕，馮志全，朱德良，等.以多模型融合為特征的三維手勢(shì)跟蹤算法[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2013，25（4）：450-459.

[19]Hsu R L，Jain A K.Face detection in color images[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2002，24（5）：696-706．

[20]覃文軍，楊金柱，王力，等.基于Kalman濾波器與膚色模型的手勢(shì)跟蹤方法[J].東北大學(xué)學(xué)報(bào)：自然科學(xué)版，2013，34（4）：474-477.

[21]Canny J.A computational approach to edge detection[J].IEEE Transactionson Pattern Analysisand Machine Intelligence，1986，8（6）：679-698.

[22]丁文，李勃，陳啟美.Canny色彩邊緣檢測(cè)及分類(lèi)新方法[J].北京郵電大學(xué)學(xué)報(bào)，2012，35（1）：115-119.

CAO Jie1，2,ZHAO Xiulong1,WANG Jinhua2

1.College of Computer and Communication,Lanzhou University of Technology,Lanzhou 730050,China 2.College of Electrical and Information Engineering,Lanzhou University of Technology,Lanzhou 730050,China

Gesture recognition method based on improved finger tip and Hu moments.Computer Engineering and Applications,2017,53（21）：138-143.

hand gesture recognition;fingertip detection;curvature calculation;Hu invariant moment

Abastrct:The recognition algorithm based on outline feature can deal with the appearance changes of hand gestures very well,but the accuracy and robustness of the existing gesture recognition is low when the target is rotated and scaled.A new gesture recognition method based on finger tip and Hu invariant moments is proposed for the problem above.This method improves the fingertip detection based on fingertip curvature,which enhances robustness of feature extraction from the finger tips.It also improves the global description of gesture model by f-using hand fingertips and Hu invariant moments.Besides,it uses recognition algorithm in which new gestures can be added automatically to improve feasibility of the algorithm.Experiments show that the proposed method can effectively improve the accuracy and robustness of gesture recognition without reducing efficiency.

A

TP391

10.3778/j.issn.1002-8331.1611-0507

國(guó)家自然科學(xué)基金（No.61263031）；甘肅省自然科學(xué)基金（No.1506RJZA105）。

曹潔（1966—），女，博士生導(dǎo)師，教授，主要研究領(lǐng)域?yàn)樾畔⑷诤?、智能信息處理、模式識(shí)別；趙修龍（1986—），男，碩士研究生，主要研究領(lǐng)域?yàn)橹悄苄畔⑻幚恚珽-mail：784673319@qq.com；王進(jìn)花（1978—），女，副教授，主要研究領(lǐng)域?yàn)楣收显\斷、智能信息處理。

2016-11-30

2017-03-01

1002-8331（2017）21-0138-06