吳彩芳,謝 鈞,俞 璐

(1.解放軍理工大學(xué) 指揮信息系統(tǒng)學(xué)院,江蘇 南京 210007;2.解放軍理工大學(xué) 通信工程學(xué)院,江蘇 南京 210007)

表1 手型原圖的識(shí)別率

基于骨骼和深度信息的手勢(shì)識(shí)別的研究與應(yīng)用

吳彩芳1,謝 鈞1,俞 璐2

(1.解放軍理工大學(xué) 指揮信息系統(tǒng)學(xué)院,江蘇 南京 210007;2.解放軍理工大學(xué) 通信工程學(xué)院,江蘇 南京 210007)

文中研究了基于Kinect的手勢(shì)識(shí)別技術(shù)，設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)功能完善、性能優(yōu)越的小型手勢(shì)交互系統(tǒng)。首先結(jié)合Kinect獲取的人體骨骼信息和深度信息，實(shí)現(xiàn)了手部的追蹤和提取，并且實(shí)驗(yàn)效果不受實(shí)驗(yàn)背景、光線、實(shí)驗(yàn)者的膚色和服裝的影響。然后根據(jù)初步獲取的手型二值圖噪聲分布特點(diǎn)，提出一種過(guò)濾小規(guī)模連通分量像素點(diǎn)的方法對(duì)二值圖進(jìn)行去噪。最后，分別以手型二值圖Hu矩和手型輪廓二值圖Hu矩為特征，使用SVM分類器進(jìn)行訓(xùn)練和識(shí)別。實(shí)驗(yàn)結(jié)果表明，同手型二值圖的Hu矩相比，以手型輪廓二值圖的Hu矩作為特征具有明顯優(yōu)勢(shì)。

靜態(tài)手勢(shì)識(shí)別；手勢(shì)交互系統(tǒng)；Hu矩；支持向量機(jī)

0 引 言

手勢(shì)識(shí)別是通過(guò)提取手部數(shù)據(jù)特征，經(jīng)過(guò)處理和分析，使得計(jì)算機(jī)能從這些數(shù)據(jù)中識(shí)別出手勢(shì)。手勢(shì)識(shí)別和人臉識(shí)別、語(yǔ)音識(shí)別、指紋識(shí)別等一樣，都是使計(jì)算機(jī)模擬人腦來(lái)識(shí)別自然環(huán)境中事物的技術(shù)。鼠標(biāo)和鍵盤是目前廣泛使用的人操控計(jì)算機(jī)的設(shè)備，然而隨著科技的發(fā)展，出現(xiàn)了一些新的人機(jī)交互場(chǎng)景，傳統(tǒng)的鼠標(biāo)鍵盤不能滿足它們的需求，手勢(shì)識(shí)別作為更加自然的人機(jī)交互方式逐漸被人們研究和應(yīng)用。計(jì)算機(jī)通過(guò)識(shí)別手勢(shì)觸發(fā)相應(yīng)的命令，可以用于大型交互界面的控制、電腦游戲手柄的替代、遠(yuǎn)程操控機(jī)器人進(jìn)行高精度作業(yè)、與3D虛擬環(huán)境的交互[1]等。

手勢(shì)識(shí)別通常分為靜態(tài)手勢(shì)識(shí)別和動(dòng)態(tài)手勢(shì)識(shí)別兩種。靜態(tài)手勢(shì)識(shí)別是對(duì)靜態(tài)的手型進(jìn)行識(shí)別，動(dòng)態(tài)手勢(shì)識(shí)別是根據(jù)手的移動(dòng)軌跡、速度對(duì)手所做出的動(dòng)作進(jìn)行識(shí)別。文中主要針對(duì)靜態(tài)手勢(shì)識(shí)別進(jìn)行研究和應(yīng)用。靜態(tài)手勢(shì)識(shí)別通常分為手部分割、手部跟蹤、特征提取、分類識(shí)別幾部分。傳統(tǒng)的獲取數(shù)據(jù)的方法有基于數(shù)據(jù)手套和基于計(jì)算機(jī)視覺(jué)信息兩種。使用數(shù)據(jù)手套的方法[2]雖然精度高，但是設(shè)備昂貴，使用舒適感欠佳，難以推廣，因此現(xiàn)在一般都采用基于計(jì)算機(jī)視覺(jué)的方法獲取數(shù)據(jù)[3]。手部分割是將手從背景中分離出來(lái)，通常有基于運(yùn)動(dòng)的分割方法、基于特殊顏色標(biāo)記的分割方法、建立膚色模型進(jìn)行膚色檢測(cè)法[4]、深度信息法[5]等。特征提取可以提取像素特征、統(tǒng)計(jì)特征、Hu矩特征、手指?jìng)€(gè)數(shù)、指尖夾角、手指名稱、手指方向等特征[5]。分類識(shí)別主要有模板匹配法[6]、支持向量機(jī)(SVM)[7]、神經(jīng)網(wǎng)絡(luò)法、隱馬爾可夫模型法[8]等。

文中使用微軟推出的Kinect體感設(shè)備進(jìn)行手勢(shì)識(shí)別的研究和實(shí)現(xiàn)，首次結(jié)合使用Kinect骨骼信息和深度信息的提取并跟蹤手部，使得后續(xù)的手勢(shì)識(shí)別操作更加靈活。選取Hu矩作為靜態(tài)手勢(shì)的特征，Hu矩因兼具旋轉(zhuǎn)不變性、平移不變性、尺度不變性等特點(diǎn)而被廣泛用于手勢(shì)識(shí)別的研究中。選取SVM分類器進(jìn)行手勢(shì)分類識(shí)別。實(shí)驗(yàn)對(duì)比了分別使用同一靜態(tài)手勢(shì)的手型Hu矩和手型輪廓Hu矩進(jìn)行識(shí)別的效果，并分析原因。最后實(shí)現(xiàn)一個(gè)功能完善的小型手勢(shì)交互系統(tǒng)。

1 骨骼信息和深度信息的獲取及預(yù)處理

Kinect傳感器有兩個(gè)攝像頭和一個(gè)投影機(jī)，分別是彩色攝像頭、深度攝像頭和紅外投影機(jī)。紅外投影機(jī)發(fā)出激光，遇到物體反射回來(lái)被深度攝像頭接收，生成景深圖像，并且追蹤和提取出視野范圍內(nèi)人的骨骼信息[9]。實(shí)驗(yàn)所使用的Kinect2.0是微軟的第二代Kinect體感設(shè)備，深度攝像頭的可視范圍是距離攝像頭平面0.5 m到8 m之間的范圍，能夠檢測(cè)到的人體骨骼節(jié)點(diǎn)有25個(gè)，其中與實(shí)驗(yàn)相關(guān)的節(jié)點(diǎn)有腕關(guān)節(jié)點(diǎn)、掌指關(guān)節(jié)點(diǎn)、食指指尖點(diǎn)和拇指指尖點(diǎn)。深度攝像頭每秒生成30幀景深圖像，景深圖像中每個(gè)像素點(diǎn)上的數(shù)值代表物體與Kinect攝像頭的距離，如果值為0，則表示該點(diǎn)處在視野范圍內(nèi)沒(méi)有發(fā)現(xiàn)任何物體。Kinect追蹤并提取的人體骨骼關(guān)節(jié)點(diǎn)坐標(biāo)信息中的Z坐標(biāo)值是節(jié)點(diǎn)距攝像頭的距離。通過(guò)Kinect獲取的人體骨骼關(guān)節(jié)點(diǎn)信息可以定位到手的位置，根據(jù)骨骼關(guān)節(jié)點(diǎn)之間深度值的關(guān)系設(shè)定深度閾值，提取出手部像素點(diǎn)。

1.1 手部追蹤與提取

進(jìn)行手勢(shì)識(shí)別時(shí)，實(shí)驗(yàn)者位于Kinect體感設(shè)備正前方0.5 m到8 m之間的范圍內(nèi)，面向攝像頭，確保身體前方?jīng)]有遮擋物，伸出一只手，Kinect獲取實(shí)驗(yàn)者伸出的手的腕關(guān)節(jié)點(diǎn)、掌指關(guān)節(jié)點(diǎn)、食指指尖點(diǎn)和拇指指尖點(diǎn)的深度值，取其中的最大值賦值給max，最小值賦值給min。將Kinect獲取到的深度圖像通過(guò)以下方法轉(zhuǎn)化為二值圖像：深度值在閾值范圍[min-a,max]內(nèi)的像素點(diǎn)的灰度值置為1，其他像素點(diǎn)的灰度值置為0。a是使該閾值范圍剛好囊括所有手部像素點(diǎn)的最小值。實(shí)驗(yàn)結(jié)果表明，a的值取10可以滿足上述要求。該二值圖像是一個(gè)粗糙的手型圖像，大部分的背景點(diǎn)是黑色，大部分的手部像素點(diǎn)是白色，二值圖中有一些噪聲點(diǎn)待處理。初步獲取的手部圖像如圖1左所示。

1.2 二值圖去噪

從圖1可以看出，通過(guò)深度閾值提取的手部像素點(diǎn)生成的二值圖主要存在的問(wèn)題就是畫面中有些孤立的噪音點(diǎn)。這些誤把背景識(shí)別成手或是把手誤識(shí)成背景的像素點(diǎn)比較分散，分布沒(méi)有規(guī)律。由于圖片是二值圖，通常使用的均值濾波、中值濾波、高斯濾波等方法不適用這種情況。文中提出一種簡(jiǎn)單實(shí)用的方法，可以很好地解決這種帶有離散噪音點(diǎn)的二值圖的去噪問(wèn)題。

提取二值圖中的連通分量，使像素點(diǎn)個(gè)數(shù)小于100的連通分量被周圍像素點(diǎn)多的大連通分量吞并，即像素點(diǎn)個(gè)數(shù)小于100的小連通分量像素點(diǎn)的值置為包圍它的大連通分量像素點(diǎn)的值，返回生成的二值圖。生成的二值圖如圖1右所示。

圖1 初步提取的效果圖和二值圖去噪后的效果圖

1.3 手型輪廓提取

文獻(xiàn)[10]使用手型圖像Hu矩作為靜態(tài)手勢(shì)數(shù)據(jù)特征，文獻(xiàn)[11]使用手型輪廓Hu矩作為靜態(tài)手勢(shì)數(shù)據(jù)特征，兩篇文獻(xiàn)都使用了SVM分類器來(lái)識(shí)別手勢(shì)。為了探索使識(shí)別率最大化的數(shù)據(jù)特征，文中對(duì)同一靜態(tài)手勢(shì)分別用手型Hu矩和手型輪廓Hu矩做數(shù)據(jù)特征，用SVM分類器識(shí)別，對(duì)比識(shí)別效果并分析原因。下面進(jìn)行手型輪廓提取。

假設(shè)集合C為手部的輪廓點(diǎn)集。指針s指向整幅圖片第一個(gè)掃描到的手部像素點(diǎn)。

(1)從上到下，從左到右依次掃描圖片像素點(diǎn)，掃描到第一個(gè)手部像素點(diǎn)后將指針s和p指向該點(diǎn)。

(2)從p上方像素點(diǎn)開(kāi)始順時(shí)針掃描p周圍的8個(gè)像素點(diǎn)，直到遇到第一個(gè)手部像素點(diǎn)，用指針q指向該點(diǎn)，將p指針指向的點(diǎn)加入集合C中，p指針指向q指針指向的點(diǎn)。

(3)循環(huán)進(jìn)行步驟2，直至p指針指向的點(diǎn)和s指針指向的點(diǎn)再次重合。返回集合C中的像素點(diǎn)。返回生成的輪廓圖如圖2所示。

圖2 手勢(shì)輪廓提取

1.4 特征提取

文中選取的數(shù)據(jù)特征是Hu矩。Hu矩主要表征了圖像區(qū)域的幾何特征，具有旋轉(zhuǎn)、平移、尺度不變性。Hu矩是由七個(gè)矩不變量組成的特征，這七個(gè)不變矩是由圖片的二階和三階的中心矩的線性組合構(gòu)成的[12]。對(duì)于連續(xù)的圖像f(x,y)(≥0)，p+q階幾何矩mpq定義為：

p+q階中心矩μpq定義為：

七個(gè)Hu不變矩的定義如下：

Φ1=η20+η02

Φ3=(η30-3η12)2+(3η21-μ03)2

Φ4=(η30+η12)2+(η21+μ03)2

Φ5=(η30-3η12)(η30+η12)[(η30+η12)2- 3(η21+η03)2)]+(3η21-η03)(η21+η30)[3(η12+η30)2-(η21+η03)2]

Φ6=(η20-η02)[(η30+η12)2-(η21+η03)2]+4η11(η30+η12)(η12+η03)

Φ7=(3η21-η03)(η30+η12)[(η30+η12)2- 3(η21+η03)2]-(η30-3η12)(η12+η03)[3(η30+η12)2-(η21+η03)2]

2 手勢(shì)識(shí)別

文中采用SVM作為手勢(shì)分類識(shí)別的工具。SVM是一種由統(tǒng)計(jì)學(xué)發(fā)展而來(lái)的機(jī)器學(xué)習(xí)方法。主要思想是通過(guò)一個(gè)非線性映射p，把樣本空間映射到一個(gè)高維乃至無(wú)窮維的特征空間中，使得在原來(lái)的樣本空間中非線性可分的問(wèn)題轉(zhuǎn)化為在特征空間中線性可分的問(wèn)題。對(duì)于分類、回歸等問(wèn)題來(lái)說(shuō)，很可能在低維樣本空間無(wú)法線性處理的樣本集，在高維特征空間中卻可以通過(guò)一個(gè)線性超平面實(shí)現(xiàn)線性劃分(或回歸)。一般的升維都會(huì)帶來(lái)計(jì)算的復(fù)雜化，而SVM應(yīng)用核函數(shù)的展開(kāi)定理巧妙地解決了這個(gè)難題，就不需要知道非線性映射的顯式表達(dá)式；由于是在高維特征空間中建立線性學(xué)習(xí)機(jī)，所以與線性模型相比，不但幾乎不增加計(jì)算的復(fù)雜性，而且在某種程度上避免了“維數(shù)災(zāi)難”[13]。

實(shí)驗(yàn)采用LIBSVM工具包。LIBSVM是臺(tái)灣大學(xué)林智仁教授等開(kāi)發(fā)設(shè)計(jì)的一個(gè)簡(jiǎn)單易用、快速有效的SVM模式識(shí)別與回歸的軟件包。該軟件對(duì)SVM所涉及的參數(shù)調(diào)節(jié)相對(duì)比較少，提供很多的默認(rèn)參數(shù)，利用這些默認(rèn)參數(shù)可以解決很多問(wèn)題，并提供了交互檢驗(yàn)的功能。該軟件可以解決C-SVM、v-SVM、ε-SVR和v-SVR等問(wèn)題，包括基于一對(duì)一算法的多類模式識(shí)別問(wèn)題[14]。

3 實(shí) 驗(yàn)

3.1 手勢(shì)識(shí)別實(shí)驗(yàn)

實(shí)驗(yàn)?zāi)康氖菍?duì)圖3所示的五種靜態(tài)手勢(shì)進(jìn)行分類識(shí)別，并且應(yīng)用于手勢(shì)交互系統(tǒng)中。實(shí)驗(yàn)開(kāi)發(fā)環(huán)境是Visual Studio 2012，編程語(yǔ)言使用C#，硬件設(shè)備使用Kinect for Windows2.0。

圖3 需要識(shí)別的手勢(shì)圖

為了完成實(shí)驗(yàn)，編寫的程序依次完成如下功能：

(1)五種靜態(tài)手勢(shì)每種手勢(shì)讓不同的人來(lái)做，共做260次，使用Kinect記錄并生成260幅手型二值圖和260幅對(duì)應(yīng)的手型輪廓二值圖。

(2)以每種手勢(shì)的前130張手型二值圖為訓(xùn)練樣本，后130張手型二值圖為測(cè)試樣本,分別計(jì)算它們的Hu矩并按LIBSVM軟件包要求的格式生成訓(xùn)練文件和測(cè)試文件。調(diào)用LIBSVM軟件包訓(xùn)練SVM模型，并測(cè)試識(shí)別率。

(3)用同樣的方法使用手型輪廓二值圖Hu矩訓(xùn)練模型并測(cè)試識(shí)別率。

3.2 實(shí)驗(yàn)結(jié)果

使用手型二值圖Hu矩作為數(shù)據(jù)特征的總識(shí)別率Accuracy=65.68%。使用手型輪廓二值圖Hu矩作為數(shù)據(jù)特征的總識(shí)別率Accuracy=99.23%。手型識(shí)別率分別如表1和表2所示。

表1 手型原圖的識(shí)別率

表2 手型輪廓圖片的識(shí)別率

從上述實(shí)驗(yàn)結(jié)果可以看出，用手型輪廓二值圖Hu矩做數(shù)據(jù)特征的識(shí)別率明顯比用手型二值圖Hu矩做數(shù)據(jù)特征的識(shí)別率高。出現(xiàn)這種差異的原因，是不同手勢(shì)的手型原圖中共同點(diǎn)較多，而不同手勢(shì)的手型輪廓共同點(diǎn)很少。手型原圖中手勢(shì)用手部的全部像素點(diǎn)表示，而手型輪廓圖中手勢(shì)只用手型的一圈外輪廓像素點(diǎn)表示。在手型原圖中，每種手勢(shì)的手掌部分面積占整個(gè)手型面積的一半以上，而手掌部分像素點(diǎn)是每種手勢(shì)的共同點(diǎn)；手型輪廓圖只保留了手型的外輪廓像素點(diǎn)，去掉了不同手勢(shì)相同的像素點(diǎn)，拉開(kāi)了不同手勢(shì)之間的差異，因此用手型輪廓圖表示靜態(tài)手勢(shì)更具有代表性，使用手型輪廓Hu矩作為靜態(tài)手勢(shì)的數(shù)據(jù)特征進(jìn)行識(shí)別的識(shí)別率更高。

接下來(lái)將使用手勢(shì)輪廓Hu矩訓(xùn)練好的SVM模型，分類識(shí)別這五種手勢(shì)，據(jù)此實(shí)現(xiàn)一個(gè)功能完善的小型手勢(shì)交互系統(tǒng)。

3.3 手勢(shì)交互系統(tǒng)的實(shí)現(xiàn)

從上述實(shí)驗(yàn)結(jié)果可以看出，已經(jīng)做到了對(duì)上述五種手勢(shì)的分類識(shí)別。而且，調(diào)用Kinect體感設(shè)備的內(nèi)置接口可以實(shí)現(xiàn)手勢(shì)的握拳和松拳的識(shí)別。利用這些條件，設(shè)計(jì)出一個(gè)手勢(shì)交互系統(tǒng)。該系統(tǒng)實(shí)現(xiàn)了鼠標(biāo)的左鍵和中鍵的功能，實(shí)現(xiàn)了利用手勢(shì)遠(yuǎn)程控制計(jì)算機(jī)上音樂(lè)播放器、視頻播放器、IE瀏覽器等常用的應(yīng)用。與計(jì)算機(jī)交互時(shí)，操作人員只需站在Kinect視野范圍內(nèi)，面向Kinect攝像頭，伸出手做上述的幾種手勢(shì)，即可遠(yuǎn)程操控計(jì)算機(jī)上的應(yīng)用。若做出某一手勢(shì)前計(jì)算機(jī)上相應(yīng)的應(yīng)用還未打開(kāi)，則計(jì)算機(jī)做出回應(yīng)，打開(kāi)該應(yīng)用；否則，計(jì)算機(jī)忽視該手勢(shì)命令。系統(tǒng)的工作流程圖如圖4所示。

分別讓10個(gè)人在10個(gè)不同的場(chǎng)景中測(cè)試該系統(tǒng)，每人每個(gè)手勢(shì)操作10次，記錄用手勢(shì)操控計(jì)算機(jī)的出錯(cuò)率，結(jié)果如表3所示。

表3 手勢(shì)交互系統(tǒng)使用測(cè)試

通過(guò)測(cè)試結(jié)果可以看出，該手勢(shì)交互系統(tǒng)的魯棒性強(qiáng)，識(shí)別率與背景、光線等因素?zé)o關(guān)。使用手勢(shì)控制對(duì)計(jì)算機(jī)進(jìn)行操作出錯(cuò)次數(shù)少，出錯(cuò)成本低，用戶使用的舒適度較好。用戶操作的空間范圍大，使用靈活。

4 結(jié)束語(yǔ)

文中提出一種結(jié)合Kinect獲取的骨骼信息和深度信息進(jìn)行手勢(shì)分割和跟蹤的方法，以手勢(shì)輪廓Hu矩為數(shù)據(jù)特征，采用SVM分類器對(duì)五類靜態(tài)手勢(shì)進(jìn)行分類識(shí)別，并且以該方法實(shí)現(xiàn)了一個(gè)功能完善的小型手勢(shì)交互系統(tǒng)。實(shí)驗(yàn)結(jié)果表明，該方法識(shí)別率高、靈活性強(qiáng)，手勢(shì)交互系統(tǒng)魯棒性強(qiáng)、簡(jiǎn)單實(shí)用。

雖然文中實(shí)現(xiàn)的手勢(shì)識(shí)別方法精度高，但是識(shí)別的手勢(shì)種類少，設(shè)計(jì)的手勢(shì)交互系統(tǒng)簡(jiǎn)單，因此下一步將結(jié)合動(dòng)態(tài)手勢(shì)識(shí)別，研究更復(fù)雜的手勢(shì)識(shí)別，實(shí)現(xiàn)功能更加豐富的手勢(shì)交互系統(tǒng)。Kinect體感設(shè)備提供了豐富的功能接口，手勢(shì)識(shí)別只使用了其中很少的一部分。除了可以識(shí)別人體骨骼，Kinect還提供了人臉識(shí)別、人眼跟蹤、語(yǔ)音識(shí)別、表情識(shí)別等功能接口，下一步可以結(jié)合這些接口開(kāi)發(fā)出更加自然的人機(jī)交互系統(tǒng)。

圖4 手勢(shì)識(shí)別交互軟件的流程圖

[1] 翟 言.體感交互技術(shù)在大型沉浸式系統(tǒng)中的應(yīng)用與研究[D].北京:北京林業(yè)大學(xué),2014.

[2] 吳江琴,高 文,陳熙霖.基于數(shù)據(jù)手套輸入的漢語(yǔ)手指字母的識(shí)別[J].模式識(shí)別與人工智能,1999,12(1):74-78.

[3] Mitra S,Acharya T.Gesture recognition:a survey[J].IEEE Transactions on Systems,Man,and Cybernetics-Part C:Applications and Reviews,2007,37(3):311-324.

[4] 廖 赟.基于裸手的自然人機(jī)交互關(guān)鍵算法研究[D].昆明:云南大學(xué),2012.

[5] Li Yi.Hand gesture recognition using Kinect[C]//Proceedings of 2012 IEEE 3rd international conference on software engineering and service science.[s.l.]:IEEE,2012:196-199.

[6] 李文杰.基于骨架化和模板匹配的交通指揮手勢(shì)識(shí)別[D].杭州:浙江工業(yè)大學(xué),2011.

[7] 李云峰,胡文平.SVM多類分類算法及其在手寫體數(shù)字識(shí)別中的應(yīng)用[J].物流工程與管理,2012(7):131-134.

[8] 洪 文,黃鳳崗,蘇 菡.基于連續(xù)隱馬爾科夫模型的步態(tài)識(shí)別[J].應(yīng)用科技,2005,32(2):50-52.

[9] 余 淘.Kinect應(yīng)用開(kāi)發(fā)實(shí)戰(zhàn):用最自然的方式與機(jī)器對(duì)話[M].北京:機(jī)械工業(yè)出版社,2012.

[10] 劉 云,甘志杰.基于Hu矩和支持向量機(jī)手完整性檢測(cè)算法及應(yīng)用[J].計(jì)算機(jī)工程與應(yīng)用,2008,44(30):223-225.

[11] Liu Yun,Yin Yanmin,Zhang Shujun.Hand gestures recognition based on Hu moments in interaction of virtual reality[C]//Proc of the intelligent human-machine systems and cybernetics.[s.l.]:[s.n.],2012:11-14.

[12] Huang Zhihu,Lecng Jinsong.Analysis of Hu’s moment invariants on image scaling and rotation[C]//Proc of 2010 2nd international conference on computer engineering and technology.[s.l.]:[s.n.],2012:476-478.

[13] Chang Chih-Chung,Hsu Chih-Wei,Lin Chih-Jen.The analysis of decomposition methods for support vector machines[J].IEEE Transactions on Neural Networks,2000,11(4):1003-1008.

[14] Chang Chih-Chung,Lin Chih-Jen.LIBSVM:a library for support vector machines[J].ACM Transactions on Intelligent Systems and Technology,2011,3(2):23-30.

Research and Application of Gesture Recognition Based on Information of Body Skeleton and Depth

WU Cai-fang1,XIE Jun1,YU Lu2

(1.School of Command Information System,PLA University of Science and Technology,Nanjing 210007,China;2.School of Communication Engineering,PLA University of Science and Technology,Nanjing 210007,China)

It explores the technology of gesture recognition based on Kinect in this paper,and designs and implements a small gesture interactive system with perfect function and excellent performance.At first,the Skeleton Information and Depth Information from Kinect is used to track and extract hand from the background.The result doesn’t be affected by the background,light,and experimenter’s skin color and costume.Then,according to the distribution of noise from preliminary acquisition in the binary images,a method of filtering the small scale connected component pixels is put forward to denoise.At last,Hu’s moments of hand binary images and hand contour binary images are used as features to train the Support Vector Machine (SVM) classifiers respectively.The experimental results show that compared with Hu’s moments of hand binary images,the Hu’s moments of the hand contour binary images have obvious advantages.

static gesture recognition;gesture interactive system;Hu’s moment;support vector machine

2015-09-17

2015-12-23

時(shí)間：2016-08-01

國(guó)家“863”高技術(shù)發(fā)展計(jì)劃項(xiàng)目(2012aa01a509，2012aa01a510)

吳彩芳(1991-)，女，碩士研究生，研究方向?yàn)槟Ｊ阶R(shí)別；謝 鈞，副教授，研究方向?yàn)橹悄苄畔⑻幚恚挥?璐，副教授，研究方向?yàn)橛?jì)算機(jī)網(wǎng)絡(luò)。

http://www.cnki.net/kcms/detail/61.1450.TP.20160801.0842.002.html

TP391.4

A

1673-629X(2016)08-0200-05

10.3969/j.issn.1673-629X.2016.08.043