李 哲 彭四偉

基于深度圖像信息的指尖跟蹤與軌跡識別

李 哲 彭四偉

(北京化工大學(xué)信息科學(xué)與技術(shù)學(xué)院 北京 100029)

針對基于傳統(tǒng)攝像頭獲取的二維圖像難以準(zhǔn)確區(qū)分復(fù)雜環(huán)境下目標(biāo)和背景的問題，提出一種利用Kinect攝像頭對復(fù)雜背景下手指指尖的跟蹤算法，并對指尖跟蹤的軌跡進(jìn)行識別。首先利用Kinect獲取的深度圖像信息對手部進(jìn)行分割和指尖檢測；然后利用壓縮感知方法對跟蹤目標(biāo)進(jìn)行特征提取，通過樸素貝葉斯(NB)分類器分類跟蹤目標(biāo)和背景；最后，通過支持向量機(jī)(SVM)方法對跟蹤的軌跡進(jìn)行識別。實(shí)驗(yàn)結(jié)果表明，提出的方法能夠成功地跟蹤手指指尖的位置，同時(shí)能夠準(zhǔn)確識別出指尖跟蹤的軌跡。

Kinect 指尖跟蹤 深度圖像 壓縮感知 手勢軌跡識別 支持向量機(jī)

0 引 言

在人機(jī)交互和虛擬現(xiàn)實(shí)系統(tǒng)中，實(shí)時(shí)和穩(wěn)定的手勢跟蹤不僅給用戶帶來良好的交互體驗(yàn)，還能為手勢的識別提供準(zhǔn)確的運(yùn)動軌跡[1]，從而大大提高人機(jī)交互和虛擬現(xiàn)實(shí)的沉浸感。

Kinect是微軟發(fā)布的革命性的攝像頭，通過Kinect可以同時(shí)獲得圖像的彩色信息和深度信息，并且支持人體骨骼關(guān)節(jié)點(diǎn)的實(shí)時(shí)跟蹤[2]。Kinect廉價(jià)和高效的特性使其在三維重構(gòu)和手勢跟蹤識別中被廣泛地應(yīng)用[3-5]。Kinect提供的深度信息為人機(jī)交互和虛擬現(xiàn)實(shí)提供了新的研究方法。

由于虛擬現(xiàn)實(shí)的廣泛應(yīng)用前景，手勢的檢測跟蹤與識別得到了廣泛的關(guān)注。大量文獻(xiàn)從二維圖像或三維空間對目標(biāo)特征進(jìn)行了研究。目前對于二維圖像中目標(biāo)的檢測跟蹤，很多文獻(xiàn)利用了皮膚顏色信息[6]和圖形學(xué)算子[7]對目標(biāo)進(jìn)行檢測和分割。其中，Thangali等[8]利用方向梯度直方圖算子來描述手部形狀特征，然后應(yīng)用支持向量機(jī)對特征進(jìn)行分類識別。Alon等[9]利用相鄰幀間人手運(yùn)動誤差和膚色信息進(jìn)行手部的檢測，然而對于復(fù)雜背景下運(yùn)動目標(biāo)的檢測，效果并不理想。對于三維空間，Elmezain等[10]使用配準(zhǔn)的深度信息和顏色空間上高斯混合模型得到的膚色信息對手部進(jìn)行檢測，但是配準(zhǔn)的深度信息易受攝像頭計(jì)算誤差的影響。Oka等[11]利用紅外相機(jī)來分隔手部區(qū)域，然后利用模板匹配找到指尖位置，最后通過卡爾曼濾波器來跟蹤手指指尖的運(yùn)動軌跡，但是由于缺乏深度值信息，只是對二維圖像進(jìn)行指尖跟蹤。Ren等[12]利用Kinect獲得的深度信息和彩色圖像信息對手部進(jìn)行了檢測和分割。對于手勢軌跡的識別，Chen等[13]人提出了采用Harr特征和AdaBoost算法識別基本的英文手語；Zhang[14]提出使用HMM算法進(jìn)行中文視頻檢索。然而以上基于視覺的手勢運(yùn)動軌跡分析方法容易受光照、背景、攝像頭等因素的影響，識別準(zhǔn)確率不高。

針對上述文獻(xiàn)中存在復(fù)雜背景下目標(biāo)檢測跟蹤問題，本文通過Kinect提供的深度圖像信息分割手部和背景，結(jié)合壓縮感知理論提取手部指尖區(qū)域特征，利用樸素貝葉斯算法對指尖和背景進(jìn)行分類，實(shí)現(xiàn)指尖的跟蹤。最后，對跟蹤的指尖軌跡進(jìn)行特征提取，利用支持向量機(jī)方法進(jìn)行訓(xùn)練識別，且通過實(shí)驗(yàn)驗(yàn)證算法的有效性。

1 基于深度信息的指尖檢測與跟蹤

Kinect提供的深度信息可以從三維空間分析圖像的特征[15]，更準(zhǔn)確地獲取圖像信息。本文將利用Kinect攝像頭采集的圖像信息和深度信息，對手部進(jìn)行分割、指尖檢測和指尖跟蹤。

1.1 手部的分割

手部的分割有助于手勢的檢測和跟蹤，通過Kinect獲取深度圖像，把獲得的深度圖像和彩色圖像進(jìn)行配準(zhǔn)。然后利用開源庫OpenNI找到手心的坐標(biāo)位置，根據(jù)手心坐標(biāo)利用深度二值掩膜對圖像進(jìn)行或運(yùn)算，把手部圖像從背景中分離出來。其中，二值掩膜Iθ為一個(gè)以手心為中心，寬和高固定的掩膜窗口，其定義如下：

(1)

由實(shí)驗(yàn)得出深度閾值θ=5 cm，Zhand表示跟蹤的手心坐標(biāo)深度值；Z(x,y)表示圖像像素(x,y)處的深度值。如圖1所示，(a)是手部的彩色圖像，(b)是對應(yīng)的深度圖像，(c)是根據(jù)深度圖像二值掩膜從彩色圖像分割出來的手部圖像。

1.2 指尖檢測

通過上面手勢的分割，可以得到手部的基本信息，但是由于存在運(yùn)動模糊和設(shè)備誤差，得到的圖像信息可能存在噪聲。為了能更準(zhǔn)確地檢測手指所在位置，本文通過高斯濾波對分割的圖像進(jìn)行處理。由于經(jīng)過深度信息從復(fù)雜的背景中提取的手部輪廓比較完整，本文提出了一種基于輪廓特征的指尖檢測算法。指尖檢測算法的主要步驟如下：

1) 對分割得到的手部圖像進(jìn)行高斯濾波，平滑圖像邊緣鋸齒。

圖2 指尖檢測

2) 找出濾波后圖像的輪廓，對輪廓進(jìn)行多邊形曲線擬合，找出擬合多邊形的所有凸包。

3) 找到以手心為圓點(diǎn)，r為半徑的圓與手指輪廓的交點(diǎn)，通過交點(diǎn)和對應(yīng)凸包的向量夾角確定凸包是指尖或其他凸點(diǎn)。

如圖2所示，T為通過輪廓找到的其中一個(gè)凸包，P1和P2是以手心為圓心r為半徑的圓與指尖輪廓的交點(diǎn)。通過如下公式計(jì)算交點(diǎn)與對應(yīng)凸包向量間的夾角：

(2)

(3)

圖3 輪廓凸包與檢測到的指尖

1.3 指尖跟蹤

針對指尖坐標(biāo)的跟蹤，很多研究學(xué)者利用卡爾曼濾波的方法進(jìn)行跟蹤。然而獲得的深度信息存在抖動現(xiàn)象，會導(dǎo)致卡爾曼濾波器的頻繁終止，達(dá)不到很好的跟蹤效果。本文通過壓縮感知跟蹤的方法[16]結(jié)合深度信息值對檢測到的指尖進(jìn)行跟蹤。

1.3.1 壓縮感知

壓縮感知理論是最近幾年被提出的一種信號壓縮的理論，只要信號是可壓縮的或在其變換域上是稀疏的，那么就可以用一個(gè)和變換基不相關(guān)的觀測矩陣將高維信號投影到一個(gè)低維空間上。通過低維空間求解可以以高概率重構(gòu)出原信號。通過對信息的壓縮表示可以以很少的信息來表征原來信息的特征。為了保證能夠準(zhǔn)確重構(gòu)原信息，該理論需要滿足條件：隨機(jī)觀測矩陣與稀疏矩陣的乘積滿足Restricted Isometry Property(RIP) 性質(zhì)[17]。

假設(shè)有一個(gè)隨機(jī)矩陣R∈Rn×m，可以用這個(gè)矩陣將一個(gè)高維空間的向量x∈Rm降維變成一個(gè)低維向量v∈Rn，用數(shù)學(xué)公式表示為：

v=Rx

(4)

其中，n≤m。Johnson-Lindenstrauss推論[17]表明，可以隨機(jī)選擇一個(gè)高維子空間，原始空間中兩點(diǎn)的距離投影到這個(gè)子空間，能夠高概率地保留這種距離關(guān)系。而Baraniuk[18]證明了如果隨機(jī)矩陣滿足Johnson-Lindenstrauss推論，那么同樣滿足壓縮感知理論中的RIP條件。所以，如果式(4)中隨機(jī)矩陣R滿足Johnson-Lindenstrauss推論，且如果x是可壓縮的，那么可以通過最小化誤差從v中高概率重構(gòu)x。因此，只要找到一個(gè)滿足Johnson-Lindenstrauss推論的隨機(jī)矩陣。

本文將采用文獻(xiàn)[17]中的稀疏隨機(jī)觀測矩陣，這種隨機(jī)稀疏矩陣可以通過均勻隨機(jī)數(shù)發(fā)生器得到，其矩陣元素定義如下：

(5)

Achlioptas[17]證明了上式中當(dāng)s取2或者3時(shí)，該矩陣滿足Johnson-Lindenstrauss推論，且這個(gè)矩陣非常稀疏。通過該隨機(jī)觀測矩陣對跟蹤目標(biāo)圖像特征進(jìn)行壓縮。

1.3.2 指尖跟蹤方法

假設(shè)定義跟蹤目標(biāo)窗口為z∈Rw×h(以w,h為寬和高的矩形窗口)，將跟蹤目標(biāo)窗口z與一系列尺度不同的矩形濾波器{h1,1,h1,2,…,hw,h}進(jìn)行卷積運(yùn)算作為跟蹤目標(biāo)的特征，每一種矩形濾波器表示為：

(6)

式中，i、j分別為矩形濾波器的寬和高，總共有w×h個(gè)矩形濾波器，然后分別用這w×h個(gè)矩形濾波器和跟蹤目標(biāo)圖像z做卷積運(yùn)算將得到m=(w×h)2維的多尺度特征向量x=(x1,x2,…,xm)T。特征向量x是一個(gè)非常高維的向量，所以需要對其進(jìn)行降維，通過式(5)中的隨機(jī)觀測矩陣把特征向量x投影到低維空間v∈Rn。低維特征v的每個(gè)元素vi是由不同尺度的矩形濾波器的線性組合得到(即v=Rx)，而隨機(jī)觀測矩陣R中的元素是1、0和-1，所以R可以通過均勻隨機(jī)數(shù)發(fā)生器產(chǎn)生。而矩形濾波器窗口中的元素都是1或0，因此x中每個(gè)特征可以通過計(jì)算濾波器窗口中的積分值代替，從而高效地計(jì)算出低維特征向量v。

通過對跟蹤目標(biāo)圖像的壓縮處理，得到其特征向量v，利用這些特征對跟蹤目標(biāo)和背景進(jìn)行分類。本文通過文獻(xiàn)[19]中的樸素貝葉斯分類器來進(jìn)行分類，并且假設(shè)特征向量間相互獨(dú)立，樸素貝葉斯分類器表示為：

(7)

式中，y=0表示負(fù)樣本(即背景樣本)，y=1表示正樣本(即跟蹤目標(biāo)樣本)，假設(shè)正負(fù)樣本的先驗(yàn)概率相等(即p(y=0)=p(y=1))。那么式(7)可化簡為：

(8)

Diaconis等[20]在其文獻(xiàn)中證明了高維隨機(jī)向量的隨機(jī)投影基本都是高斯分布。所以假設(shè)式(8)中的條件概率p(vi|y=0)和p(vi|y=1)也屬于高斯分布，即：

(9)

所以，根據(jù)下式增量更新μi和σi為：

(10)

式中，λ為學(xué)習(xí)因子，式(10)中當(dāng)y=1時(shí)初始的σ和μ可由最大似然估計(jì)計(jì)算得到：

(11)

綜合上述壓縮感知理論和指尖跟蹤方法，本文所用的指尖跟蹤過程可以概括為以下步驟：

(1) 輸入第t幀圖像；

(2) 在第t-1幀圖像跟蹤到的目標(biāo)周圍(以目標(biāo)窗口中心為圓點(diǎn)，r為半徑的圓內(nèi))采集n個(gè)樣本，然后利用壓縮感知方法對這些樣本進(jìn)行特征壓縮，得到每個(gè)樣本的特征向量vi；

(3) 利用式(8)中的分類器H(v)對上一步采集的樣本分類，找到最大概率的樣本窗口作為當(dāng)前幀跟蹤到的目標(biāo)窗口；

(4) 在當(dāng)前目標(biāo)窗口周圍分別以窗口中心為圓心，r

(5) 分別對正、負(fù)樣本進(jìn)行特征壓縮，利用式(10)對參數(shù)μi和σi進(jìn)行更新；

(6) 輸入下一幀圖像，重復(fù)上述步驟處理，直到所有幀圖像處理完畢。

通過對跟蹤目標(biāo)的檢測，利用壓縮感知方法對跟蹤目標(biāo)進(jìn)行特征壓縮，實(shí)時(shí)采集正負(fù)樣本訓(xùn)練分類器，實(shí)現(xiàn)目標(biāo)的跟蹤。本文結(jié)合了正負(fù)樣本的深度信息積分值，即在樣本的積分值上結(jié)合其深度積分值，減小目標(biāo)窗口的漂移。

2 指尖跟蹤軌跡識別

通過對指尖的檢測跟蹤記錄下指尖的運(yùn)動軌跡，對記錄的軌跡進(jìn)行重映射和特征提取，然后利用支持向量機(jī)的方法訓(xùn)練識別。

2.1 軌跡特征提取

在成功檢測到指尖位置后，將通過上述跟蹤算法跟蹤記錄指尖點(diǎn)的坐標(biāo)位置。本文選擇0～9十個(gè)數(shù)字作為指尖手寫對象進(jìn)行識別。由于每個(gè)數(shù)字的筆畫、長度不同，而作為支持向量機(jī)的輸入要求輸入向量的維數(shù)固定。所以，需要對手寫的數(shù)字做相應(yīng)的處理。首先記錄手寫數(shù)字的軌跡(即手指指尖的像素坐標(biāo))，如果坐標(biāo)點(diǎn)的數(shù)量小于某個(gè)閾值，對這些坐標(biāo)點(diǎn)中歐式距離最大的兩點(diǎn)之間進(jìn)行插值，直到滿足閾值要求為止；如果坐標(biāo)點(diǎn)的數(shù)量大于這個(gè)閾值，先對坐標(biāo)點(diǎn)中歐氏距離最大的兩點(diǎn)之間進(jìn)行插值，再從這些坐標(biāo)點(diǎn)中均勻選取定量坐標(biāo)點(diǎn)。

通過上面的步驟可以得到指尖點(diǎn)坐標(biāo)的軌跡，但是這些坐標(biāo)點(diǎn)的位置是屏幕上像素的絕對位置。如果指尖的起始位置變化，每次得到的軌跡就會相應(yīng)的變化。為了解決該問題，本文通過將圖像中指尖軌跡進(jìn)行分割，重新映射到一個(gè)200×200的圖像上。經(jīng)過映射后的軌跡可以很好地解決指尖坐標(biāo)絕對位置的問題。

重映射后，將得到的坐標(biāo)點(diǎn)的橫縱坐標(biāo)按點(diǎn)的先后順序排列起來形成一個(gè)一維向量，將此向量作為支持向量機(jī)的輸入向量。但是，當(dāng)遇到手寫的筆畫順序不同時(shí)，此時(shí)該向量不能被正確識別。為了讓識別與筆畫書寫順序無關(guān)，本文將分割后的軌跡點(diǎn)再次映射到一個(gè)10×10的表格上，當(dāng)坐標(biāo)點(diǎn)落在表格相應(yīng)位置時(shí)，表格中該位置標(biāo)志為1，其他位置設(shè)置為0。最后將表格中的所有數(shù)字按從左到右，從上到下順序排列成一維特征向量，并將此向量作為支持向量機(jī)的輸入向量。

如圖4所示，(a)為跟蹤手指指尖得到的手寫數(shù)字‘2’的圖像，(b)為對圖像(a)中數(shù)字的分割和重新映射。

圖4 指尖跟蹤軌跡及重映射

圖5為圖4(b)中數(shù)字‘2’再次被映射到10×10的表格中，并以此作為手寫數(shù)字‘2’的識別特征。

圖5 數(shù)字‘2’的表格映射

2.2 軌跡訓(xùn)練識別

為了對手寫數(shù)字提取的特征進(jìn)行識別，本文選擇支持向量機(jī)作為學(xué)習(xí)識別的算法。和其他機(jī)器學(xué)習(xí)方法相比，支持向量機(jī)具有能有效發(fā)現(xiàn)目標(biāo)函數(shù)的全局最優(yōu)解，最大化決策邊界等特點(diǎn)。同時(shí)，SVM在解決小樣本、非線性以及高維模式的識別中有特定的優(yōu)勢。在解決線性問題中，SVM能直接在該空間中劃分出分割平面，但在實(shí)際問題中更多的是非線性的問題，需要經(jīng)過非線性變換將其轉(zhuǎn)換為高維空間中的線性問題來處理。而轉(zhuǎn)換過程一般是通過核函數(shù)進(jìn)行。SVM有三種常用的核函數(shù)，分別是多項(xiàng)式核函數(shù)、徑向基(RBF)核函數(shù)和Sigmoid核函數(shù)，可以根據(jù)實(shí)驗(yàn)結(jié)果選取一種合適的核函數(shù)。

本文通過實(shí)驗(yàn)對比發(fā)現(xiàn)，用徑向基核函數(shù)比其他核函數(shù)的識別精度更高，所以選擇RBF作為支持向量機(jī)的核函數(shù)。此時(shí)，對軌跡特征提取得到的特征向量，用支持向量機(jī)進(jìn)行訓(xùn)練識別。

3 實(shí)驗(yàn)結(jié)果及分析

本實(shí)驗(yàn)在英特爾酷睿雙核2.0 GHz處理器、2 GB內(nèi)存硬件平臺上，利用微軟Kinect攝像頭作為圖像采集設(shè)備?；赑rimeSense v5.1.2驅(qū)動接口，在開源圖形庫OpenCV v2.4.3和OpenNI v1.5.4基礎(chǔ)上開發(fā)完成。實(shí)驗(yàn)主要分為指尖的跟蹤和指尖運(yùn)動軌跡的識別。實(shí)驗(yàn)時(shí)人距離Kinect攝像頭約1.5米。

3.1 指尖坐標(biāo)跟蹤分析

對指尖運(yùn)動軌跡的跟蹤實(shí)驗(yàn)主要是跟蹤右手食指指尖的運(yùn)動。實(shí)驗(yàn)中首先對指尖進(jìn)行檢測，當(dāng)檢測到指尖時(shí)，利用跟蹤算法進(jìn)行實(shí)時(shí)跟蹤。實(shí)驗(yàn)通過三種方法對比跟蹤右手食指指尖。將跟蹤算法分別應(yīng)用于如下三種情形：(1) 直接在彩色圖像上進(jìn)行跟蹤；(2) 對彩色圖像中手部分割后再進(jìn)行跟蹤；(3) 在(2)基礎(chǔ)上結(jié)合深度積分值進(jìn)行跟蹤。

圖6顯示了右手食指指尖的跟蹤過程的中間幀，圖中有三個(gè)框選區(qū)域是實(shí)心正方形、圓形和正方形分別對應(yīng)上述三種方法的跟蹤結(jié)果。其中，正方形區(qū)域是本文所用算法的跟蹤結(jié)果，即通過對手部進(jìn)行分割。然后對該區(qū)域進(jìn)行特征壓縮，結(jié)合深度信息的跟蹤結(jié)果；圓形區(qū)域?yàn)閷κ植窟M(jìn)行分割和特征壓縮，但沒有結(jié)合深度信息的跟蹤結(jié)果；實(shí)心正方形為沒有對手部進(jìn)行分割，而是直接在彩色圖像上進(jìn)行特征壓縮的跟蹤結(jié)果。從實(shí)驗(yàn)結(jié)果可以看出，本文提出的方法能夠有效地跟蹤目標(biāo)，沒有結(jié)合深度信息的跟蹤方法會出現(xiàn)一定的漂移，而直接在彩色圖像上的跟蹤由于復(fù)雜的背景容易丟失目標(biāo)停留在開始位置。圖7為彩色圖像幀對應(yīng)的深度圖像幀。

圖6 指尖跟蹤的彩色圖像幀

圖7 與彩色圖像對應(yīng)的深度圖像幀

圖8為上述三種方法跟蹤的誤差曲線。其中，橫坐標(biāo)為圖像幀數(shù)，縱坐標(biāo)為跟蹤位置與實(shí)際指尖位置的距離(像素)。圖中的菱形、方形和圓形曲線分別對應(yīng)彩色圖像上跟蹤(第一種)、圖像分割后跟蹤(第二種)和本文采用方法跟蹤的位置誤差曲線。從圖中可以看出，本文所用的方法跟蹤結(jié)果非常接近指尖的真實(shí)位置，能夠有效地跟蹤指尖目標(biāo)。

圖8 指尖跟蹤位置誤差曲線

3.2 指尖軌跡訓(xùn)練識別

針對跟蹤獲得的指尖軌跡進(jìn)行特征提取，利用SVM進(jìn)行訓(xùn)練識別。本實(shí)驗(yàn)將對指尖跟蹤采集到的手寫數(shù)字0～9進(jìn)行訓(xùn)練識別。實(shí)驗(yàn)分為離線測試和實(shí)時(shí)測試，其中離線測試包含了兩組數(shù)據(jù)。第一組為0～9十個(gè)數(shù)字，共500個(gè)訓(xùn)練樣本(每個(gè)數(shù)字包含50個(gè))，500個(gè)測試樣本(每個(gè)數(shù)字包含50個(gè))；第二組同樣為0～9十個(gè)數(shù)字，共1000個(gè)訓(xùn)練樣本(每個(gè)數(shù)字100個(gè))，500個(gè)測試樣本(每個(gè)數(shù)字50個(gè))。分別對這兩組樣本進(jìn)行訓(xùn)練識別。

表1中第一組樣本和第二組樣本顯示了兩組不同訓(xùn)練樣本的識別結(jié)果。從表中可以看出第一組樣本數(shù)字‘8’的識別準(zhǔn)確率不高，有一部分識別為‘6’或‘9’，但是從整體上看，識別準(zhǔn)確率達(dá)到了96.8%。由于訓(xùn)練的樣本不充分，所以在第二組實(shí)驗(yàn)中增加了訓(xùn)練樣本。從表中第二組樣本可以看到隨著訓(xùn)練樣本的增加，識別的準(zhǔn)確率也得到了提高，平均識別準(zhǔn)確率達(dá)到了99.2%。實(shí)驗(yàn)結(jié)果說明了本文提出的指尖跟蹤和軌跡識別算法能夠準(zhǔn)確地跟蹤識別指尖運(yùn)動軌跡。

表1 指尖軌跡訓(xùn)練識別結(jié)果

表1中實(shí)時(shí)跟蹤識別為對指尖實(shí)時(shí)跟蹤軌跡的識別結(jié)果，實(shí)驗(yàn)中應(yīng)用了第二組樣本的訓(xùn)練結(jié)果，實(shí)時(shí)對兩個(gè)人的手寫數(shù)字進(jìn)行識別，對每個(gè)數(shù)字測試了100次(每人各50次)。從表中可以看出，實(shí)時(shí)跟蹤識別同樣能得到很高的識別率，而且本文采用壓縮感知的跟蹤算法進(jìn)行指尖的跟蹤，對特征進(jìn)行壓縮來減少運(yùn)算量，所以該算法實(shí)時(shí)跟蹤同樣具有很好的時(shí)間性能。

圖9顯示了對數(shù)字0～9的指尖跟蹤軌跡及識別結(jié)果圖像。其中，圖中左上角方框中的數(shù)字為識別結(jié)果，手掌附近的數(shù)字為指尖的跟蹤軌跡。

圖9 數(shù)字0～9的指尖跟蹤軌跡與識別結(jié)果

4 結(jié) 語

本文提出了一種基于深度信息的指尖檢測跟蹤和跟蹤軌跡識別的方法。通過壓縮感知理論提取跟蹤目標(biāo)特征，利用樸素貝葉斯分類器對跟蹤目標(biāo)和背景分類，實(shí)現(xiàn)對目標(biāo)的跟蹤。然后記錄指尖跟蹤的軌跡，對該軌跡進(jìn)行特征提取。最后利用支持向量機(jī)算法對特征向量進(jìn)行訓(xùn)練識別。實(shí)驗(yàn)表明，文中提出的方法獲得了較好的指尖跟蹤效果和較高的跟蹤軌跡識別率，對實(shí)時(shí)的跟蹤識別也具有較高的準(zhǔn)確性和魯棒性。接下來將進(jìn)一步研究指尖的變形跟蹤及多指尖的跟蹤，進(jìn)一步增加對英文字母和少量漢字的軌跡識別。

[1] 劉偉華,樊養(yǎng)余,雷濤.基于深度圖像的運(yùn)動人手檢測與指尖點(diǎn)跟蹤算法[J].計(jì)算機(jī)應(yīng)用,2014,34(5):1442-1448.

[2] Tsai T C,Chung Y S.A Kinect-based handwritten digit recognition for TV remote controller [C]//2012 IEEE International Symposium on Intelligent Signal Processing and Communication Systems.Taipei:IEEE Press,2012:4-7.

[3] 鄧瑞,周玲玲,應(yīng)忍冬.基于Kinect深度信息的手勢提取與識別研究[J].計(jì)算機(jī)應(yīng)用研究,2013,30(4):1265-1274.

[4] 張毅,張爍,羅元,等.基于Kinect深度圖像的手勢識別及應(yīng)用[J].計(jì)算機(jī)應(yīng)用研究,2012,29(9):3547-3550.

[5] 晏浩,張明敏,童晶,等.基于Kinect的實(shí)時(shí)穩(wěn)定的三維多手指跟蹤算法[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào),2013,25(12):1801-1809.

[6] Lee D,Park Y.Vision-based remote control system by motion detection and open finger counting[J].IEEE Transactions on Consumer Ele-ctronics,2009,55(4):2308-2313.

[7] Kang S K,Nam M Y,Rhee P K.Color based hand and finger detec-tion technology for user interaction[C]//Proceedings of the 2008 International Conference on Convergence and Hybrid Information Technology.Washington,DC:IEEE Computer Society,2008:229-236.

[8] Thangali A,Sclaroff S.An alignment based similarity measure for hand detection in cluttered sign language video[C]//Proceedings of the 2009 IEEE Computer Society Conference on Computer Vision and pattern Recognition.Piscataway:IEEE Press,2009:89-96.

[9] Alon J,Athitsos V,Yuan Q,et al.A unified framework for gesture recognition and spatiotemporal gesture segmentation[J].IEEE Transac-tions on pattern Analysis and Machine Intelligence,2009,31(9):1685-1699.

[10] Elmezain M,Alhamadi A,Michaelis B.Real-time capable system for hand gesture recognition using hidden Markov models in stereo color image sequences[J].Journal of Winter School of Computer Graphics,2008,16(1):65-72.

[11] Oka K,Sato Y,Koike H.Real-time fingertip tracking and gesture recognition[J].IEEE Computer Graphics and Applications,2002,22(6):64-71.

[12] Ren Z,Meng J,Yuan J,et al.Robust hand gesture recognition with Kinect sensor[C]//Proceedings of the 19th ACM International Conference on Multimedia.New York:ACM,2011:759-760.

[13] Chen Qing,Georganas N D,Petriu E M.Real-time vision-based hand gesture recognition using Harr-like features[C]//Proceedings of IEEE Instrumentation and Measurement Technology Conference.Piscataway:IEEE Press,2007:1-6.

[14] Zhang Shilin,Zhang Bo.Using HMM to sign language video retrieval [C]//Proceedings of the 2nd International Conference on Computational Intelligence and Natural Computing.Los Alamitos:IEEE Computer Society Press,2010:55-59.

[15] 陶麗君,李翠華,張希婧,等.基于Kinect傳感器深度信息的動態(tài)手勢識別[J].廈門大學(xué)學(xué)報(bào),2013,52(4):493-497.

[16] Zhang Kaihua,Zhang Lei,Yang Minghsuan.Real-time compressive tracking[C]//Computer Vision ECCV 2012.Springer Berlin Heidelberg,2012.

[17] Achlioptas D.Database-friendly random projections:Johnson- Lindenstrauss with binary coins[J].Comput. Syst.Sci,2003,66(4):671-687.

[18] Baraniuk R,Davenport M,Devore R,et al.A simple proof of the restricted isometry property for random matrices[J].Constr.Approx,2008,28(3):253-263.

[19] Xue Jinghao,Michael D.On discriminative vs.generative classifier: a comparison of logistic regression and naive bayes[J].NIPS,2008,28(3):169-187.

[20] Diaconis P,Freedman D.Asymptotics of graphical projection pursuit[J].The annals of statistics,1984,12(3):793-815.

FINGERTIP TRACKING AND TRAJECTORY RECOGNITION BASED ON DEPTH IMAGE INFORMATION

Li Zhe Peng Siwei

(SchoolofInformationScienceandTechnology,BeijingUniversityofChemicalTechnology,Beijing100029,China)

It is difficult to accurately distinguish the object and the background under the complex environment in two-dimensional image acquired based on traditional camera. To solve the problem, we proposed a tracking method which utilises Kinect camera aiming at the fingertip in complex background, and recognises the trajectory of fingertip tracking. First, it uses the depth image information captured by Kinect to segment the hand and to detect the fingertip. Subsequently, it uses compressive sensing method to extract features from tracking object, and employs the naive Bayesian (NB) algorithm to classify the tracking object and background. Finally, it uses support vector machine (SVM) method to recognise the tracking trajectory. Experimental results showed that the proposed method can successfully track the fingertip locations and accurately recognise the fingertip trajectory at the same time.

Kinect Fingertip tracking Depth image Compressive sensing Fingertip trajectory recognition Support vector machine (SVM)

2014-10-30。李哲，碩士生，主研領(lǐng)域：模式識別，機(jī)器學(xué)習(xí)，圖像處理，虛擬現(xiàn)實(shí)。彭四偉，副教授。

TP391

A

10.3969/j.issn.1000-386x.2016.04.037