張生軍，吳仕勛，王宏剛，許登元，黃大榮

(重慶交通大學(xué) 信息科學(xué)與工程學(xué)院，重慶 400074)

無標(biāo)記手勢識別中基于混合特征的手部分割研究

張生軍，吳仕勛，王宏剛，許登元，黃大榮

(重慶交通大學(xué) 信息科學(xué)與工程學(xué)院，重慶 400074)

結(jié)合多種算法對無標(biāo)記手勢動作的識別進(jìn)行了研究。根據(jù)人體膚色分布特性，采用了高斯膚色模型對膚色進(jìn)行了建模；針對外界光照問題，采用HSV顏色空間來表示不同的膚色；針對手部運(yùn)動過程中會出現(xiàn)背景信息融入手部的情況，使用背景去除的Haar-like特征手部描述算法，同時研究了AdaBoost分類器進(jìn)行特征分類。實(shí)驗結(jié)果表明:在無標(biāo)記手部分割中，采用多特征融合的方法較可以得到更好的分割效果。

通信工程；機(jī)器視覺；手勢識別；手部標(biāo)記；混合特征

0 引 言

手勢識別可以被用于計算機(jī)游戲、虛擬現(xiàn)實(shí)、人機(jī)交互、醫(yī)療保健以及工業(yè)控制等領(lǐng)域。由于手勢識別廣闊的應(yīng)用前景和應(yīng)用領(lǐng)域，近年來手勢識別技術(shù)越來越多地受到國內(nèi)外相關(guān)研究機(jī)構(gòu)和學(xué)者的關(guān)注。手勢識別系統(tǒng)通常包括手勢信息獲取，手部檢測、手部跟蹤，手勢識別等幾個關(guān)鍵步驟。

根據(jù)手勢獲取方式，手部信息提取方式分為視頻直接提取手部運(yùn)動信息和傳感器輔助提取手部運(yùn)動信息兩種主要方式。黃啟友等[1]采用三軸加速度傳感器作為手腕部分?jǐn)?shù)據(jù)采集傳感器，通過數(shù)據(jù)窗口的自動檢測、信號去噪聲和重采樣等預(yù)處理；并采用陀螺儀傳感器采集三維手勢角度特征，將該方法用于3D空間的鼠標(biāo)輸入和鍵盤輸入。王萬良等[2]基于使手勢交互較少受到視角和光線的限制的考慮，通過采用具有加速度儀和地磁儀的數(shù)據(jù)手套進(jìn)行手勢數(shù)據(jù)采集。劉劍鋒等[3]采用加速度傳感器進(jìn)行手勢數(shù)據(jù)采集，并且在虛擬奧運(yùn)博物館用戶輸入手勢實(shí)例中進(jìn)行了測試。曾芬芳等[4]在人手結(jié)構(gòu)和手關(guān)節(jié)運(yùn)動的分析基礎(chǔ)上，通過使用數(shù)據(jù)手套采集各指節(jié)的曲伸角，然后采用模糊神經(jīng)網(wǎng)絡(luò)進(jìn)行手勢識別。C．PUN等[5]介紹了一種基于視頻信息的手勢識別系統(tǒng)，該系統(tǒng)在手勢識別中采用了直方圖模型；通過對選擇的10個手勢的測試，該系統(tǒng)可以達(dá)到較好的手勢識別率。胡馨月等[6]采用運(yùn)動傳感器進(jìn)行手部跟蹤，并將該方法應(yīng)用于兒童水墨畫的運(yùn)筆方式和步驟學(xué)習(xí)中。顧偉宏等[7]設(shè)計了一種基于機(jī)電系統(tǒng)MEMS加速度傳感器的新型數(shù)據(jù)手套，通過數(shù)據(jù)手套采集手勢動作的空間三維信息和手指的運(yùn)動信息，采用基于模糊理論的識別算法，并且在漢語手指語拼音字母識別系統(tǒng)中加以應(yīng)用。丁躍等[8]采用手機(jī)內(nèi)置三軸加速度傳感器獲取相應(yīng)手勢數(shù)據(jù)，采用動態(tài)時間彎曲等算法實(shí)現(xiàn)了通過手機(jī)示意的自然手勢識別，并且將其應(yīng)用到媒體播放控制中。C．OZ等[9]采用數(shù)據(jù)手套的方式進(jìn)行手勢三維運(yùn)動信息采集，然后通過使用人工神經(jīng)網(wǎng)絡(luò)模型實(shí)現(xiàn)了對美國手語的識別，該實(shí)驗表明：這種方法可以實(shí)現(xiàn)手語單詞的識別。其它諸如小波法[10]和自適應(yīng)中值濾波法[11]在圖像處理中也有研究。

雖然采用數(shù)據(jù)手套手勢識別系統(tǒng)可以避免基于視頻手勢識別系統(tǒng)分析獲取手勢所帶來的諸如手部跟蹤容易丟失，雙手遮擋容易造成的雙手分割困難，環(huán)境噪聲造成手部檢測困難以及視角差異造成的手勢差異等問題；但是，相對于基于視頻的手勢識別系統(tǒng)來說，基于數(shù)據(jù)手套的系統(tǒng)在一定程度上增加了系統(tǒng)成本，同時降低了用戶的使用便捷性。相對于數(shù)據(jù)手套的復(fù)雜性，相關(guān)研究人員采用了折中的辦法，如采用指尖染色和手指染色的顏色手套模型的方式實(shí)現(xiàn)了靜態(tài)和動態(tài)手勢識別[12-13]。

進(jìn)行無標(biāo)記手勢識別的第一步就是進(jìn)行手部標(biāo)注。根據(jù)手部所具有的特點(diǎn)，筆者采用多特征融合的方法對手部進(jìn)行檢測；根據(jù)人體膚色分布特性，為提高膚色判定準(zhǔn)確性，筆者采用了高斯膚色模型對膚色進(jìn)行了建模；針對外界光照造成的膚色容易發(fā)生變化的問題，筆者采用HSV顏色空間來表示不同的膚色。由于手勢具有非剛體運(yùn)動特性，在手部運(yùn)動過程中會出現(xiàn)背景信息融入手部的情況，針對該問題筆者在使用Haar-like特征進(jìn)行手部描述時采用了手部背景去除算法。為提高Haar-like特征分類的準(zhǔn)確性和快速性，筆者采用快速AdaBoost分類器。

筆者主要工作是采用手部顏色特征、Haar-like和AdaBoost相結(jié)合的方法進(jìn)行圖像中手部分割。它結(jié)合了顏色特征對手勢描述的優(yōu)勢，同時也具備了借助手部特征進(jìn)行手部分割的優(yōu)勢。通過對現(xiàn)有的單一特征手部分割結(jié)果相比，筆者所采用的方法具有更好的分割效果。

1 手部顏色特征

根據(jù)族群不同，人類膚色的變化范圍可從深色到近乎白色。膚色的色調(diào)決定于黑色素在皮膚中的含量。通常祖先源自光照豐富地區(qū)的人擁有較黑的皮膚；反之則較淺。

von Luschan的膚色標(biāo)尺(圖1)主要用來對膚色進(jìn)行分類。該圖包含36種顏色，主要作為膚色參考標(biāo)準(zhǔn)，該顏色圖中的膚色適合于未暴露于太陽下的膚色部分(如胳膊下方的部分皮膚顏色)。

圖1 von Luschan 膚色標(biāo)尺Fig.1 von Luschan skin color scalle

一個人的膚色除了與自身的因素有關(guān)外，也與皮膚暴露于太陽的程度有關(guān)(表1)。與其它人種相比歐洲人種通常來講有較淺的皮膚、頭發(fā)和眼睛顏色。而通常來講非洲人種則有比其它種族更深的皮膚、頭發(fā)和眼睛顏色。Fitzpatrick按照皮膚在太陽下暴曬的時間，將膚色依據(jù)深淺排序分為6類[14]。

表1 皮膚顏色深度信息與實(shí)際情況對比

根據(jù)人體膚色分布特性，為提高膚色判定準(zhǔn)確性，采用了高斯膚色模型對膚色進(jìn)行了建模。針對外界光照造成的膚色容易發(fā)生變化的問題，在建模時采用HSV顏色空間來表示不同的膚色。從人類視覺角度看，在顏色表述方面HSV顏色空間較RGB空間表述更準(zhǔn)確。例如，如果若想分割紅色R，那么在HSV中所有V值從最暗到最亮，所有S值從最不飽和到最飽和都有相同的色調(diào)值H，但是在RGB空間，如果使用紅色R大于某值的方式進(jìn)行分割，將只能得到桔紅色值，而無法得到較暗的紅色值。

HSV的3個顏色分量分別如下：色調(diào)(H)，用于表示實(shí)際顏色；飽和度(S)，用于表示顏色的純度，如某種顏色鮮艷或暗淡；色值(V)，用來表示亮度顏色值，如亮或暗。HSV與RGB換算如式(1)：

(1)

(2)

2 Haar-like特征

Haar-like是受Haar小波啟發(fā)主要用于目標(biāo)檢測的一種特征描述方法。Haar-like特征具有簡單、高效和準(zhǔn)確等特點(diǎn)，通常被定義為一個矩形區(qū)域。

根據(jù)不同的特征描述需要，Haar-like特征的形狀可以定義為各種有利于問題描述的形式。當(dāng)被描述對象多為水平或垂直的特征時可以選擇以水平或垂直分割為主的Haar-like特征形狀，而當(dāng)被描述對象包含更復(fù)雜特征時可以增加傾斜的Haar-like特征，這樣可以盡可能地減少在特征描述時傾斜紋理信息的丟失。盡管Haar-like特征的形狀可以任意定義，但是隨著形狀數(shù)目的增加，在進(jìn)行目標(biāo)描述時將產(chǎn)生數(shù)目巨大的特征描述子，這將增加系統(tǒng)的時間和空間復(fù)雜度。根據(jù)所描述特征的不同，常用的Haar-like特征如圖2[15]。

圖2 常用的Haar-like特征Fig.2 Haar-like features demonstration

其中，圖2(a)主要用于描述邊緣特征；圖2(b)主要用于中心包圍特征；圖2(c)主要用于描述線性特征；圖2(d)主要用于其它特征。

在進(jìn)行Haar-like特征計算時，選取特定形狀的區(qū)域作為特征計算的窗口。特征統(tǒng)計區(qū)域形狀、數(shù)量和類型的選擇依賴于被檢測目標(biāo)的特征屬性，常采用矩形區(qū)域窗口。矩形窗口區(qū)域按照一定的規(guī)則分為正區(qū)域和反區(qū)域，窗口分割的數(shù)量和方法可以根據(jù)應(yīng)用范圍自行制定。

3 AdaBoost分類器

在樣本Haar-like特征提取完成之后，要對樣本進(jìn)行分類。樣本分類算法很多，在基于Haar-like特征的目標(biāo)分類中常采用級聯(lián)分類器。在級聯(lián)分類器中每級以近似的識別率進(jìn)行識別，通過多級分類器并聯(lián)實(shí)現(xiàn)目標(biāo)的最終分類。在級聯(lián)分類器中每級都包括與特征個數(shù)相同的子分類器，也稱作弱分類器。弱分類器的構(gòu)造方法多種多樣，由于樣本數(shù)量巨大，對于兩類分割問題通常采用較簡單的二叉樹進(jìn)行判別分類。

Boosting分類方法是一種把若干個分類器整合為一個分類器的級聯(lián)分類方法。在Boosting分類方法基礎(chǔ)上，研究人員提出了AdaBoost算法，該算法的優(yōu)點(diǎn)為[16]：有很高精度的分類器；算法只提供了框架，子分類器可以根據(jù)需求進(jìn)行選擇或定制；弱分類器物理原理明確，結(jié)構(gòu)可以比較簡單；該算法不存在過訓(xùn)練的問題。

AdaBoost算法基本流程如下[16]：

1) 給定圖像樣本序列(x1,y1),…, (xn,yn)；其中：yi∈{0,1}分別表示負(fù)樣本和正樣本。

2) 初始化權(quán)重ω1,i=m/2，l/2；表示yi=0,1；其中：m,l分別表示正負(fù)樣本的數(shù)量。

3) For t=1，2,…，T

權(quán)重歸一化：

(3)

對每一個特征j訓(xùn)練一個分類器(弱分類器)hj；加權(quán)處理后的分類錯誤表示為：

(4)

在所有分類器hj中，選擇ej最小的分類器作為ht；

End For

最終，通過上述弱分類器組成的強(qiáng)分類器如式(5)：

(5)

Boosting算法中弱分類器構(gòu)造通常有多種形式，式(6)所示是一種比較簡單的弱分類器函數(shù)：

(6)

該弱分類器hj(x)包含一個特征函數(shù)(fj)，一個門限值(θj)和一個方向指示值(pj)，其中：x是固定大小的一個窗口范圍。

在Boosting分類算法中，弱分類器的判別結(jié)果作為分類依據(jù)，對輸入特征進(jìn)行類型判別，從而實(shí)現(xiàn)特征分類。因此，筆者將以式(1)中的特征函數(shù)(fj)、門限值(θj)和方向指示值(pj)為著手點(diǎn)，通過應(yīng)用Haar-like特性和膚色特性，實(shí)現(xiàn)手部分割。

4 融合膚色信息的Haar特征

Haar-like特征進(jìn)行手部檢測時，首先對手勢圖像進(jìn)行積分圖計算，然后在與訓(xùn)練時同樣大小的窗口內(nèi)計算Haar-like特征，并用不同的縮放比例讓該窗口遍歷圖片。在每個窗口內(nèi)計算完Haar-like特征后，使用Boost級聯(lián)分類器進(jìn)行特征分類，最終獲得該窗口內(nèi)容的級聯(lián)分類結(jié)果。

Haar-like特征是基于灰度圖像進(jìn)行特征計算的。針對手部進(jìn)行檢測時，如果可以充用手部膚色這一特征，對提高檢測準(zhǔn)確性有很大幫助。通過前面對Haar-like特征的分析可知，只需在弱分類器中采用顏色特征就可以實(shí)現(xiàn)這一目標(biāo)。筆者對弱分類器增加了顏色信息，如式(7)。

(7)

式(7)中由于存在特征向量判別，因此存在向量信息如何進(jìn)行融合的問題。在單特征弱分類器中每一個閾值對應(yīng)一個特征向量，而在本文提出的多特征情況下，特征向量閾值Ψj包含多個閾值分量。筆者在使用弱分類器進(jìn)行某個像素點(diǎn)類型判別時，當(dāng)這些特征中的2/3滿足弱分類器的真條件時，就認(rèn)為該點(diǎn)特征為真。

增加顏色信息的弱分類器構(gòu)造步驟：

1) 將樣本顏色從RGB顏色空間轉(zhuǎn)換為HSV顏色空間。

2) 計算樣本均值：m=E{X},其中

X=(H,S)T

(8)

3) 計算協(xié)方差矩陣：

C=E{(X-m)(X-m)T}

(9)

4) 使用均值和矩陣值構(gòu)造膚色高斯模型

P(x)=exp[-0.5(X-m)TC-1(X-m)]

(10)

式中：m表示均值；C表示協(xié)方差矩陣。

在樣本分類時，將樣本表示為：(P(xi),si), 其中：i∈{1,2,…,n}表示第i個樣本圖像，當(dāng)Si=1表示正樣本。

5) Haar-like特征

(11)

式中：ωi為矩形的權(quán)重值；R(r) 為第i個矩形的面積積分，表示矩形個數(shù)。

6) 單個弱分類器訓(xùn)練

設(shè)置εmin=∞，表示弱分類器的誤差值Fort=1 todkdo；

其中：

End If

其中，dk表示由k個矩形區(qū)域構(gòu)成的特征的可選權(quán)重值，yi∈{-1,1},i∈{1,2,…,n}表示樣本的類別。

通過上述若分類器的構(gòu)造，再將膚色信息增加到Haar-like分類器中，顏色信息的增加有助于圖像中特定顏色信息的判別，進(jìn)而提高手部的分割準(zhǔn)確性。

5 實(shí)驗與分析

針對筆者所介紹的手部分割算法，采用了自制手部分割樣本數(shù)據(jù)庫的方式進(jìn)行了測試。在實(shí)驗樣本庫制作時，以現(xiàn)有自制動態(tài)手勢庫為基礎(chǔ)，該手勢庫由6位手勢演示者錄制，對每個手勢演示者選擇10個手勢，每個動作選擇10幀手勢圖片，總共生成600幀手勢圖像。同時，選擇100幀不包括手部的圖像作為Haar-like特性訓(xùn)練的室內(nèi)背景圖像。在實(shí)驗時，采用k-fold交叉測試方法，將所有實(shí)驗圖像分為3份，每次選擇2份作為訓(xùn)練樣本，剩余一份作為測試樣本，最后通過平均得到實(shí)驗結(jié)果。

采用融合膚色特征的Haar-like特征進(jìn)行手部檢測前，要對分類器進(jìn)行訓(xùn)練。

筆者在訓(xùn)練樣本準(zhǔn)備時主要考慮兩個方面的問題。首先正樣本應(yīng)該盡可能包含所有的手勢變化情況，雖然文中所提模型針對手部檢測的特殊情況增加了顏色特征，但是Haar-like特征主要用于描述紋理特征，如果在訓(xùn)練階段手部變化情況過于單一，則會出現(xiàn)識別不準(zhǔn)確或者錯誤的情況。其次，作為背景的負(fù)樣本選擇應(yīng)該選擇盡可能變化多的場景。針對文中情況，筆者主要選擇室內(nèi)場景，同時由于手勢識別時往往人體本身占了很大的一部分，因此不同著裝和畫面中出現(xiàn)臉部的情況也應(yīng)該進(jìn)行考慮。訓(xùn)練樣本部分采集內(nèi)容如圖3。

圖3 手部檢測訓(xùn)練樣本示例Fig.3 The positive training sample demonstration

由Boost分類原理可知，要對AdaBoost分類器進(jìn)行訓(xùn)練，首先要生成包括手部特征的訓(xùn)練樣本[16]。在生成訓(xùn)練樣本時主要有以下幾個關(guān)鍵點(diǎn)：首先，為增加分類器對不同背景下手部的檢測率，將正樣本中的手部區(qū)域提取出來并分別放到不同背景中生成不同背景下的訓(xùn)練樣本；其次，為增加分類器對手部旋轉(zhuǎn)的魯棒性，在上一步中手部區(qū)域?qū)⒁圆煌慕嵌确湃氡尘皡^(qū)域中，隨旋轉(zhuǎn)的角度和分度不同得到的訓(xùn)練樣本數(shù)目不同，理論上來講分度越精細(xì)訓(xùn)練樣本包括的情況越全面，用這些樣本訓(xùn)練的分類器分類效果越好，但是分類器的訓(xùn)練所花費(fèi)的時間也就越多；最后，為增加分類器對縮放的魯棒性，手部區(qū)域?qū)⒁圆煌目s放比例放入背景中，縮放比例以實(shí)際手部在視頻中的大小作為參考。圖4為使用的部分背景場景。

圖4 用于構(gòu)建Haar-like特征的背景圖片示例Fig.4 The photo with background based on Haar-like property

通過使用上述訓(xùn)練樣本訓(xùn)練了采用Haar-like特征的手部自動檢測AdaBoost分類器，該分類器通過使用融合顏色特征的Haar-like特征可以實(shí)現(xiàn)對圖像中手部自動檢測。為測試該分類器，采用手勢中常見的從畫面中沒有手到手部進(jìn)入畫面的方式進(jìn)行手部檢測測試。為測試分類器對手型變化的魯棒性，實(shí)驗中也對不同手勢進(jìn)入畫面的情況進(jìn)行測試。為測試分類器對復(fù)雜環(huán)境的魯棒性，實(shí)驗中以不同的背景做相應(yīng)的手部檢測測試。圖5顯示了在測試過程中部分檢測結(jié)果。

圖5 手部檢測示例Fig.5 The experiment result demonstation

采用多特征融合AdaBoost的實(shí)現(xiàn)過程比較簡單，下面采用測試和訓(xùn)練樣本對其過程進(jìn)行簡單說明。

首先采用訓(xùn)練樣本對上述分類器進(jìn)行測試，為便于比較，在不同的迭代階段分別對測試樣本進(jìn)行分類測試。圖6為4個迭代過程中對訓(xùn)練樣本的識別情況。在第1次迭代時，樣本點(diǎn)c,d和e分類錯誤，在第2次開始的迭代中被正確分類，而在第1次迭代分類正確的樣本點(diǎn)a和b，在第2次開始的迭代中卻被錯誤分類。

圖6 4次迭代分類器對訓(xùn)練樣本分類情況Fig.6 The 4 iterations classifier results on training sample

圖7顯示了采用前面訓(xùn)練得到的分類模型對測試樣本進(jìn)行分類的情況。在第1次迭代中被錯誤分類的樣本點(diǎn)c,d和e在后續(xù)迭代中被正確分類，而被正確分類的樣本點(diǎn)a和b在后續(xù)分類中被正確分類。由圖7可以看到，通過每一個迭代過程，上一步未分類正確的樣本被逐步分類正確，這也體現(xiàn)由弱分類迭代形成強(qiáng)分類器的過程。

圖7 采用測試樣本對分類器進(jìn)行測試的情況Fig.7 The classifier result for testing samples

圖8顯示了在迭代不同階段，分類器對訓(xùn)練樣本和測試樣本的分類錯誤率。由訓(xùn)練樣本分類錯誤率可以看到，隨著迭代次數(shù)的增加分類錯誤率最終達(dá)到0，而在測試樣本分類錯誤率可以看到，隨著迭代次數(shù)的增加分類錯誤率在不斷降低。比較這兩個結(jié)果，可以看到使用測試樣本的分類錯誤率要高于使用訓(xùn)練樣本的分類錯誤率，這也符合模型是由訓(xùn)練樣本訓(xùn)練得到的機(jī)理。

圖8 不同迭代階段，對樣本的分類情況Fig.8 The classifier result in different iteration stage

上述過程可看出，多特征融合手部分割分類器雖然簡單，但是分類器也能獲得很好的分類效果。

實(shí)驗中采用以下評價指標(biāo)對不同的算法在手部檢測的效果進(jìn)行評估：檢測率 (the true positive rate，即圖像中手部真陽性率)tp，虛警率(false positive rate，即無手部圖像識別為手部圖像的假陽性率)fp，其定義如式(12)、式(13)：

(12)

(13)

式中：Ntp表示測試樣本中分類器正確檢測到的手部圖像數(shù)量；Nfn表示將非手部圖像誤識別為首部圖像的數(shù)量；Ntn表示正確識別的非手部圖像數(shù)量；Nfp表示將手部圖像誤識別為非手部圖像的數(shù)量。共組織了以下3組實(shí)驗。

采用測試樣本對使用膚色與未使用膚色特征的Haar-like特征的AdaBoost分類器進(jìn)行測試，同時將文中所提方法與基于PCA和SVM-PSO的實(shí)時人臉檢測方法[16]，基于multiple proposals的手部檢測方法[17]，以及基于直方圖的手部分割方法[5]進(jìn)行了對比(表2)；除此之外，筆者也分別對Haar+ AdaBoost分類器、Haar-like分類器和膚色判別幾種方法單獨(dú)用于手部檢測時的情況做了測試。

表2 手部檢測率和虛警率

由表2可看出，雖然文中方法手部檢測率較高，但還有7%的虛警率。為降低在手勢識別中的誤報情況，本系統(tǒng)對進(jìn)入畫面的手勢做了手型的限定，通過增加手型限定只有當(dāng)手部進(jìn)入畫面并且滿足預(yù)先定義的手型時才被認(rèn)為是進(jìn)入畫面的手部。

由于手部序列圖像屬于非剛體物體，其形狀變化比較大，因此主成分分析方法和Haar-like并不能很好的描述其形狀特征。實(shí)驗也對只采用膚色的手部檢測情況作了比較，由實(shí)驗結(jié)果可知其檢測率較高，但是只要畫面背景中有與膚色相近的區(qū)域都被檢測為手，當(dāng)攝像頭位于手勢者前方時，由于畫面中臉部對基于膚色的手部檢測法存在干擾，造成該方法無法使用。

6 結(jié) 語

筆者主要介紹了使用多特征融合的手部自動分割方法。通過融合膚色、Haar-like特征，采用adaBoost分類器對圖像中的手部做自動分割，不僅具備膚色分割法所具有的高效性，同時通過使用Haar-like特征，文中方法可以避免其它身體部分由于與膚色相近而對手部分割所帶來的影響。

從試驗結(jié)果可看出，筆者所提方法較單獨(dú)使用膚色或者Haar-like具有更好的分割效果。下一步將直接將文中所用方法用于前期基于模糊條件隨機(jī)場的手勢識別系統(tǒng)，并進(jìn)一步對該方法進(jìn)行改進(jìn)。

[1] 黃啟友,戴永,胡明清,等.基于陀螺傳感器的三維手勢識別方案[J].計算機(jī)工程,2011,37(22):153-155. HUANG Qiyou, DAI Yong, HU Mingqing, et al. 3D gesture recognition scheme based on gyro sensor[J].ComputerEngineering,2011,37(22):153-155.

[2] 王萬良,楊經(jīng)緯,蔣一波.基于運(yùn)動傳感器的手勢識別[J].傳感技術(shù)學(xué)報,2011,24(12):1723-1727. WANG Wanliang, YANG Jingwei, JIANG Yibo. Motion sensor based gesture recognition[J].ChineseJournalofSensorsandActuators,2011,24(12):1723-1727.

[3] 劉劍鋒,張大興.一種基于加速計的手勢識別算法及其在虛擬環(huán)境中的應(yīng)用[J].機(jī)電工程,2010,27(8):91-96. LIU Jianfeng, ZHANG Daxing. An accelerometer-based gesture recognition algorithm and its application in virtual environment[J].JournalofMechanical&ElectricalEngineering,2010,27(8):91-96.

[4] 曾芬芳,王穎,黃國建,等.基于模糊神經(jīng)網(wǎng)絡(luò)的手勢識別[J].小型微型計算機(jī)系統(tǒng),2000,21(7):706-709. ZENG Fenfang, WANG Ying, HUANG Guojian, et al. Gesture recognition with fuzzy neural networks[J].Mini-MicroSystems,2000,21(7):706-709.

[5] PUN C, ZHU Hongmin, FENG Wei. Real-time hand gesture recognition using motion tracking[J].InternationalJournalofComputationalIntelligenceSystems,2011,4(2):277-286.

[6] 胡馨月,梁秀波,樊儒昆,等.基于運(yùn)動傳感的書空臨摹交互方式[J].計算機(jī)輔助設(shè)計與圖形學(xué)學(xué)報,2010,22(10):1734-1740. HU Xinyue, LIANG Xiubo, FAN Rukun, et al. Interactively painting by Shu-Kong facsimile based on motion sensors[J].JournalofComputer-AidedDesign&ComputerGraphics,2010,22(10):1734-1740.

[7] 顧偉宏,閔昆龍,張曉娜.新型數(shù)據(jù)手套及其手勢識別研究[J].自動化儀表,2011,32(2):56-58. GU Weihong, MIN Kunlong, ZHANG Xiaona. Research on the new data glove and its gesture recognition[J].ProcessAutomationInstrumentation,2011,32(2):56-58.

[8] 丁躍,劉軍發(fā),陳益強(qiáng),等.基于手機(jī)手勢識別的媒體控制界面[J].計算機(jī)工程,2010,36(23):152-154. DING Yue, LIU Junfa, CHEN Yiqiang, et al. Media control interface based on gesture recognition of mobile phone[J].ComputerEngineering,2010,36(23):152-154.

[9] OZ C, LEU M C. American sign language word recognition with a sensory glove using artificial neural networks[J].EngineeringApplicationsofArtificialIntelligence,2011,24(7):1204-1213.

[10] 孫波成,邱延峻,梁世慶.基于小波的路面裂縫識別研究[J].重慶交通大學(xué)學(xué)報(自然科學(xué)版),2010,29(1):69-72. SUN Bocheng, QIU Yanjun, LIANG Shiqing. Cracking recognition of pavement surface based on wavelet technology[J].JournalofChongqingJiaotongUniversity(NaturalScience),2010,29(1):69-72.

[11] 馮煥飛,何友全,劉沖.基于鄰域相關(guān)的自適應(yīng)中值濾波算法[J].重慶交通大學(xué)學(xué)報(自然科學(xué)版),2013,32(3):547-550. FENG Huanfei, HE Youquan, LIU Chong. Adaptive median filter based on neighborhood correlation[J].JournalofChongqingJiaotongUniversity(NaturalScience),2013,32(3):547-550.

[12] 李勇,高文,姚鴻勛.基于顏色手套的中國手指語字母的動靜態(tài)識別[J].計算機(jī)工程與應(yīng)用,2002,38(17):55-60. LI Yong, GAO Wen, YAO Hongxun. Chinese sign language finger alphabet recognition based on color gloves[J].ComputerEngineeringandApplications,2002,38(17):55-60.

[13] WELLER R, HUNTER J A A, SAVIN J, et al.ClinicalDermatology[M]. 4th ed. New Jersey: Wiley-Blackwell,2008.

[14] LIENHART R, MAYDT J. An extended set of haar-like features for rapid object detection[C]// USA: 2002InternationalConferenceonImageProcessing,2002.

[15] ROJAS R.AdaBoostandthesSuperBowlofClassifiersATutorialIntroductiontoAdaptiveBoosting[R]. Berlin: Freie University,2009.

[16] SUN Mingjian, WU Zhenghua, LIU Ting, et al. Time reversal reconstruction algorithm based on PSO optimized SVM interpolation for photoacousticinaging[J].MathematicalProblemsinEngineering,2015(1):1-9.

[17] MITTAL A, ZISSERMAN A, TORR P. Hand detection using multiple proposals[C]//BMVC2011,the22ndBritishMachineVisionConference. Dundee, Scotland: University of Dundee,2011.

Hand Segment Using Multi-feature Fusion Method in Unmarked Hand Gesture Recognition

ZHANG Shengjun, WU Shixun, WANG Honggang, XU Dengyuan, HUANG Darong

(School of Computer Science and Technology, Chongqing Jiaotong University, Chongqing 400074, P.R.China)

Identification of non-mark gesture movement was studied by multi-algorithms. Gaussian skin model was used to model human complexion accoding to human comlexion distribution properties. HSV color space was applied to represent different skin colors. For in hand movement process, background information was incorporated in hand, algorithm of Haar-like which described hand characters by removing background was applied. Meanwhile AdaBoost classifier was explored to classify characters. The results of experiment show that in non-mark hand segmenting, multi-feature combination method can achieve better segment results.

communication engineering; machine vision; gesture recognition; hand segment; multi-feautre fusion

10.3969/j.issn.1674-0696.2016.05.35

2015-04-15；

2015-07-20

重慶市高等教育教學(xué)改革研究項目(1203034)；重慶市教委科學(xué)技術(shù)研究項目(KJ1400305)；重慶交通大學(xué)山區(qū)橋梁與隧道工程國家重點(diǎn)實(shí)驗室開放基金資助項目(CQSLBF-Y16-7)；水利水運(yùn)工程教育部重點(diǎn)實(shí)驗室開放基金(SLK2016A01)

張生軍(1978—)，男，四川成都人，博士，主要從事通訊與信息系統(tǒng)、機(jī)器視覺及人工智能方面的研究。E-mail:sjzhang@cqjtu.edu.cn。

TN919.81

A

1674-0696(2016)05-185-08