汪 云， 甘 泉， 李 琳

（合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院，安徽 合肥 230009）

一種結(jié)合曲率與平行向量的實(shí)時(shí)指尖檢測(cè)方法

汪 云， 甘 泉， 李 琳

（合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院，安徽 合肥 230009）

根據(jù)手指幾何形狀大致平行的特性，本文提出一種基于曲率和平行向量來(lái)進(jìn)行手指檢測(cè)的新方法。該方法首先利用深度圖像信息從復(fù)雜背景環(huán)境中迅速分割出手部；然后依據(jù)形態(tài)學(xué)操作和中值濾波進(jìn)行平滑處理后提取邊緣，再根據(jù)曲率定位擬指尖點(diǎn)；最后采用平行向量特性排除誤檢點(diǎn)。實(shí)驗(yàn)結(jié)果表明，該方法在不同手指運(yùn)動(dòng)狀態(tài)，不同光照強(qiáng)度，以及復(fù)雜環(huán)境背景下均能實(shí)時(shí)定位指尖位置，指尖位置識(shí)別率可達(dá)98.64%。

指尖檢測(cè)；深度圖像；曲率；平行向量

在人機(jī)交互系統(tǒng)中，手是用戶模型中十分重要的動(dòng)作與感知關(guān)系模型，是人的行為特征[1]。近年來(lái)，手勢(shì)作為一種自然直觀的人機(jī)交互方式，在虛擬現(xiàn)實(shí)，視頻監(jiān)控，機(jī)器人控制，媒體廣播，遠(yuǎn)程會(huì)議等領(lǐng)域都得到了廣泛認(rèn)可。目前的手勢(shì)識(shí)別研究中，根據(jù)手部區(qū)域的幾何特征[2]（如手指、指尖、手指方向、手的輪廓等）進(jìn)行手勢(shì)識(shí)別常能取得高識(shí)別率[3-7]，因此幾何特征對(duì)于手勢(shì)識(shí)別具有重大價(jià)值。由此可見(jiàn)指尖特征作為手勢(shì)識(shí)別中最常用的特征，對(duì)手勢(shì)研究有著重大的意義，因此出現(xiàn)了一批專門針對(duì)手部特征跟蹤檢測(cè)的研究。

在早期的系統(tǒng)中，指尖檢測(cè)主要依賴于特定的輸入設(shè)備。如讓用戶戴上專門制作的數(shù)據(jù)手套[8]，或特定顏色的指套[9]，但是這些特定的輸入設(shè)備往往價(jià)格昂貴，不宜廣泛使用。因此，近年來(lái)，對(duì)裸手指尖檢測(cè)愈來(lái)愈流行。在基于視頻流的數(shù)據(jù)采集下，Lee等[10]提出一種通過(guò)提取膚色區(qū)域輪廓，并在該輪廓上根據(jù)曲率來(lái)檢測(cè)擬指尖點(diǎn)，最后使用過(guò)濾算法過(guò)濾出誤判指尖點(diǎn)來(lái)進(jìn)行指尖檢測(cè)的算法，但該算法并不能過(guò)濾出手臂誤判點(diǎn)。李博男和林凡[11]在此基礎(chǔ)上，通過(guò)不斷計(jì)算手向量先區(qū)分開(kāi)手臂和手指，然后借助物理學(xué)中“場(chǎng)”和“勢(shì)”的概念，計(jì)算每類指尖點(diǎn)的勢(shì)，最后將勢(shì)太低的點(diǎn)判定為手臂點(diǎn)去除。雖然以上算法都能達(dá)到實(shí)時(shí)檢測(cè)指尖的效果，但是由于單視頻流中只能獲得2D信息，因此該算法要求輸入的視頻流中的手部區(qū)域必須與其他膚色區(qū)域分離。

微軟2010年發(fā)布的Kinect[12]能成功地利用深度圖像提取手部信息從而克服這個(gè)弊端。基于此，一些研究者如 Liang等[13]提出一種結(jié)合Kinect獲得深度圖像信息和粒子濾波器追蹤連續(xù)幀中指尖位置的新方法，最后結(jié)果表明在合成深度序列中，該方法能實(shí)時(shí)追蹤指尖，但是該方法計(jì)算過(guò)程復(fù)雜，效率不高。與上述不同的另一類研究者則十分重視手部直觀的幾何形狀信息，此類算法較簡(jiǎn)單高效。如文獻(xiàn)[14]通過(guò)結(jié)合 Kinect和計(jì)算掌心與輪廓邊緣的距離的方法檢測(cè)指尖，但是這種方法只適用于一般情況，而在各手指間距較小時(shí)，對(duì)大拇指的檢測(cè)并不是很準(zhǔn)確，對(duì)拳頭手勢(shì)亦不能正確檢測(cè)。而文獻(xiàn)[15]則利用手指的徑向?qū)ΨQ特性來(lái)檢測(cè)各個(gè)指尖，但是在該方法下，當(dāng)各手指間距較大時(shí)，會(huì)把指根節(jié)點(diǎn)也錯(cuò)誤判斷成指尖節(jié)點(diǎn)。由此可知，以上的這些方法只針對(duì)特定系統(tǒng)適用，但并不通用。

綜上所述，手勢(shì)識(shí)別研究中，由于背景的復(fù)雜性，系統(tǒng)的實(shí)時(shí)性等要求，指尖的定位在精確性方面還存在一些問(wèn)題。本文提出一種快速魯棒的指尖檢測(cè)方法。該方法先通過(guò)深度圖像進(jìn)行手勢(shì)分割，然后對(duì)手部信息進(jìn)行預(yù)處理，繼而采用曲率和平行線特征優(yōu)化指尖檢測(cè)算法，最后對(duì)在各種復(fù)雜背景和光線環(huán)境下，進(jìn)行動(dòng)態(tài)手勢(shì)測(cè)試，得到了準(zhǔn)確的實(shí)時(shí)檢測(cè)效果。

1 手勢(shì)分割和預(yù)處理

1.1 復(fù)雜背景下的手勢(shì)分割

復(fù)雜背景下手部信息的提取[10-11]一般使用膚色模型的方法，但此種方法在實(shí)際應(yīng)用中會(huì)由于復(fù)雜背景的干擾產(chǎn)生嚴(yán)重噪聲。基于這一缺陷，本文采用微軟公司的Kinect進(jìn)行深度信息的提取，來(lái)獲得深度信息值。本文先由Kinect獲得掌心點(diǎn)位置，接著為了滿足計(jì)算量小以及手部區(qū)域包含在內(nèi)兩個(gè)要求，本文通過(guò)試驗(yàn)選取200×200的鄰域，最后通過(guò)深度信息分割出手部區(qū)域，二值化后得到粗糙的手部二值圖像（圖1）。

1.2 手部信息預(yù)處理

觀察圖1，可以發(fā)現(xiàn)提取出的手部區(qū)域不可避免地會(huì)帶有一些噪聲。而形態(tài)學(xué)中的腐蝕操作可去除邊緣毛刺噪聲和斑點(diǎn)噪聲，膨脹操作對(duì)去除孔洞噪聲有較明顯的效果，所以我們先利用其對(duì)噪聲進(jìn)行處理。

研究發(fā)現(xiàn)，通過(guò)腐蝕和膨脹操作后所得到的手部邊緣仍然會(huì)有鋸齒和凹凸（圖2），因而需進(jìn)一步對(duì)邊緣進(jìn)行擬合和平滑。為了保證算法的高效性，本文使用中值濾波算法[16]對(duì)手部圖像進(jìn)行平滑處理。平滑的圖像如圖3。

圖2 腐蝕膨脹處理后的手

圖3 中值濾波處理后的手

2 指尖定位

2.1 基于曲率的擬指尖點(diǎn)定位

本研究中將曲率處理后所得到的候選點(diǎn)統(tǒng)稱為擬指尖點(diǎn)。通過(guò)平滑后的圖2可看出，該手部指尖點(diǎn)具有明顯的曲率特征，則本文先采用曲率特征提取出擬指尖點(diǎn)。該手部輪廓像素點(diǎn)采用逆時(shí)針遍歷存儲(chǔ)。首先給出常數(shù)步長(zhǎng)10（若取太小則輪廓邊緣的變化對(duì)計(jì)算結(jié)果影響較大；若取太大，計(jì)算結(jié)果將失去準(zhǔn)確性），然后遍歷輪廓，對(duì)輪廓上每一點(diǎn) mi，取距其步長(zhǎng)為10的前驅(qū)點(diǎn)mi+1和后繼點(diǎn) mi-1，size為手輪廓像素點(diǎn)總個(gè)數(shù)，使用和向量的余弦值代表mi點(diǎn)曲率：

由公式可知，cosθi在區(qū)間[-1,1]內(nèi)。經(jīng)過(guò)實(shí)驗(yàn)反復(fù)測(cè)試，曲率選擇在閾值 0.6～0.8之間，都可以準(zhǔn)確地檢測(cè)出擬指尖點(diǎn)。通過(guò)曲率處理后，可以得到檢測(cè)效果（圖4）。

圖4 紅色為曲率處理后的點(diǎn)

從圖3中可以看出，曲率算法可以很好地檢測(cè)出擬指尖點(diǎn)，但基于曲率的算法會(huì)出現(xiàn)一些誤檢點(diǎn)。通過(guò)反復(fù)實(shí)驗(yàn)，可發(fā)現(xiàn)這些誤檢點(diǎn)主要存在于指根節(jié)點(diǎn)，即手指指尖的凹槽之處，以及手腕處。接下來(lái)，主要解決將這些誤檢點(diǎn)從擬指尖點(diǎn)排除的問(wèn)題。

2.2 凹陷點(diǎn)過(guò)濾

向量叉積可解決將指根節(jié)點(diǎn)從擬指尖點(diǎn)中排除的問(wèn)題。在保證邊緣輪廓總是按逆時(shí)針?lè)较蚺帕袝r(shí)，同樣以 10個(gè)像素點(diǎn)為步長(zhǎng)，隨機(jī)選取擬指尖點(diǎn) ti與 ti點(diǎn)前驅(qū)點(diǎn) ti+1和后繼點(diǎn) ti-1，接著計(jì)算向量 ti+1ti和 titi-1的叉積a：

經(jīng)計(jì)算可知，擬指尖點(diǎn)為指尖點(diǎn)的叉積符號(hào)和其為凹陷點(diǎn)叉積符號(hào)不同。由此，可以過(guò)濾出凹陷節(jié)點(diǎn)，得圖5。

2.3 平行向量過(guò)濾擬指尖點(diǎn)

由1.2節(jié)的算法描述可知，主要集中在指根處的擬指尖點(diǎn)已經(jīng)排除，但是手腕處的擬指尖點(diǎn)尚且存在。而關(guān)于手腕處的擬指尖點(diǎn)的排除算法是本文所研究的重點(diǎn)內(nèi)容。下述算法中需注意邊緣輪廓總是按逆時(shí)針?lè)较蚺帕小?/p>

圖5 藍(lán)色為凹陷過(guò)濾點(diǎn)

本研究中將兩向量夾角小于閾值 30°的向量統(tǒng)稱為平行向量。一般情況下，手指的不同狀態(tài)都可以看作是一組平行線和一段曲線的基元的組合[17]。本文中為了排除手腕處的擬指尖點(diǎn)將會(huì)采用此特性，即每根手指兩側(cè)形狀近似平行的特性，如圖5所示。具體算法如下：

Step 1：記錄 ti在容器中的下標(biāo)i以及前驅(qū)坐標(biāo) i+1和后繼坐標(biāo) i-1，接著通過(guò)對(duì)應(yīng)關(guān)系分別找到這些點(diǎn)在手部輪廓序列中的對(duì)應(yīng)下標(biāo)I， Ip， Iq；

Step 2：通過(guò)試驗(yàn)可先設(shè)定一個(gè)閾值為20，若 Ip- I＞ 20，則該擬指尖點(diǎn)為每簇?cái)M指尖點(diǎn)中最左邊的擬指尖點(diǎn)，將其存入集合 Sl中；同理，將最右邊的擬指尖點(diǎn)存入集合 Sr中；

Step 3：依次取出 Sl中擬指尖點(diǎn) ml，計(jì)算它和 Sr中每個(gè)擬指尖點(diǎn) Ir的距離，比較得出最小距離 dmin，則該擬指尖點(diǎn)即為 ml對(duì)應(yīng)的 mr，重復(fù)上述步驟找到左右對(duì)應(yīng)的各對(duì)擬指尖點(diǎn)；

Step 4：設(shè)定步長(zhǎng)閾值為15（步長(zhǎng)不能超過(guò)大拇指長(zhǎng)度），在size中計(jì)算出 mi的第15個(gè)后繼像素點(diǎn) mi+15以及第15個(gè)前驅(qū)像素點(diǎn) mi+15，得到向量 mimi+15和向量 mimi-15，并根據(jù)式(2)求出夾角α；

Step 5：根據(jù)夾角α是否小于閾值30°來(lái)判斷該向量是否是擬平行向量，若是，則該擬指尖點(diǎn)屬于指尖點(diǎn)，若不是，則予以過(guò)濾。

手腕處向量處理后的效果如圖6所示。至此，經(jīng)過(guò)上述算法后，剩余的擬指尖點(diǎn)即可判定為指尖點(diǎn)。

圖6 淺藍(lán)色為手腕過(guò)濾點(diǎn)

3 實(shí)驗(yàn)及分析

為了驗(yàn)證本文改進(jìn)方法的性能，本文采用VS2010的編譯環(huán)境，利用C++和OpenCV進(jìn)行算法設(shè)計(jì)，通過(guò)Kinect進(jìn)行圖像采集，視頻圖像分辨率為 640×480，選擇配置 CPU為 Intel(R) Core(TM) i5-2450M CPU @ 2.50GHz, 內(nèi)存為2G的筆記本上進(jìn)行實(shí)驗(yàn)，實(shí)驗(yàn)過(guò)程中光照不穩(wěn)定且背景復(fù)雜。

3.1 實(shí)驗(yàn)過(guò)程及結(jié)果

實(shí)驗(yàn)針對(duì)常見(jiàn)的6類指尖數(shù)目的手勢(shì)[15]進(jìn)行指尖檢測(cè)，得到一系列的效果，如圖7所示。然后針對(duì)每類手勢(shì)的視頻序列，記錄1100幀，每隔5幀提取一幀，則可提取220幀（實(shí)驗(yàn)中手在鏡頭前左右晃動(dòng)和旋轉(zhuǎn)，但對(duì)每類手勢(shì)檢測(cè)時(shí)，手指數(shù)目不發(fā)生變化）。指尖檢測(cè)結(jié)果如表1所示。

圖7 指尖檢測(cè)效果圖

表1 指尖檢測(cè)結(jié)果

表2為本文算法同國(guó)內(nèi)外一些主流的指尖檢測(cè)算法進(jìn)行了比較。文獻(xiàn)[10]是利用曲率和距離的特性來(lái)進(jìn)行指尖檢測(cè)，但是該算法對(duì)于小拇指和大拇指等長(zhǎng)度較短的手指指尖經(jīng)常會(huì)出現(xiàn)判斷錯(cuò)誤，該檢測(cè)率源于文獻(xiàn)[10]。而文獻(xiàn)[15]則是利用手指的徑向?qū)ΨQ特性來(lái)檢測(cè)各個(gè)指尖，但是在該方法下，當(dāng)背景為深色時(shí)，各手指間距較大時(shí)，會(huì)把指根節(jié)點(diǎn)也錯(cuò)誤判斷成指尖節(jié)點(diǎn)，該檢測(cè)率源于文獻(xiàn)[15]。而本文算法采用基于曲率和平行線相結(jié)合的方法，由于考慮了單獨(dú)使用時(shí)的弊端，則在不同手指數(shù)目，不同光照強(qiáng)度下，復(fù)雜環(huán)境背景下都能有效地檢測(cè)出該指尖位置，該檢測(cè)率由表1計(jì)算所得，其中某些幀未被檢測(cè)成功則是由于在手部運(yùn)動(dòng)過(guò)程中出現(xiàn)了圖7最右側(cè)手指重疊的情況。實(shí)驗(yàn)證明該方法具有很好的魯棒性。

表2 算法性能比較

3.2 不同條件下的指尖檢測(cè)

環(huán)境中光線強(qiáng)度以及復(fù)雜的背景都是影響指尖檢測(cè)的常見(jiàn)問(wèn)題。本文綜合利用深度圖像信息，曲率特征以及手部的幾何特征，解決了在光照以及復(fù)雜背景條件下的指尖檢測(cè)。實(shí)驗(yàn)結(jié)果表明，本文方法有很好的魯棒性和穩(wěn)定性，如圖8、圖9所示。

圖8 不同光照強(qiáng)度下的指尖檢測(cè)效果圖

圖9 復(fù)雜背景下的指尖檢測(cè)效果圖

4 總 結(jié)

本文綜合利用深度圖像信息，曲率特征以及平行向量特性，解決了不同手指運(yùn)動(dòng)狀態(tài)，不同光照強(qiáng)度，復(fù)雜環(huán)境背景下指尖檢測(cè)存在的難點(diǎn)，其中最難識(shí)別的拳頭也能通過(guò)檢測(cè)識(shí)別。實(shí)驗(yàn)結(jié)果表明該方法得到的指尖檢測(cè)結(jié)果十分準(zhǔn)確。但是本文算法若在手指重疊情況下，檢測(cè)并不是很準(zhǔn)確，下一步將考慮采用徑向?qū)ΨQ變化來(lái)探討此特殊情況。另外，本文在跟蹤算法上還需要進(jìn)一步的改進(jìn)和完善。

[1] Carroll J M. Human-computer interaction: psychology as a science of design [J]. Annual Review of Psychology, 1997, 48(1): 61-83.

[2] 張良國(guó), 吳江琴, 高 文, 姚鴻勛. 基于 Hausdorff距離的手勢(shì)識(shí)別[J]. 中國(guó)圖象圖形學(xué)報(bào) (A 版), 2002, 7(11): 1144-1150.

[3] Hasan M M, Mishra P K. Real time fingers and palm locating using dynamic circle templates [J]. International Journal of Computer Applications, 2012, 41(6): 33-43.

[4] Ren Zhou, Yuan Junsong, Zhang Zhengyou. Robust hand gesture recognition based on finger-earth mover's distance with a commodity depth camera [C]// Proceedings of the 19th ACM International Conference on Multimedia. ACM, 2011: 1093-1096.

[5] Chen Weijing, Fujiki R, Arita D, Taniguchi R I. Realtime 3D hand shape estimation based on image feature analysis and inverse kinematics [C]//Image Analysis and Processing 2007, ICIAP 2007 14th International Conference on IEEE, 2007: 247-252.

[6] Caglar M B, Lobo N. Open hand detection in a cluttered single image using finger primitives [C]// Computer Vision and Pattern Recognition Workshop 2006, CVPRW'06 Conference on IEEE, 2006: 148-148.

[7] Lee D, Lee S G. Vision-based finger action recognition by angle detection and contour analysis [J]. ETRI Journal, 2011, 33(3): 415-422.

[8] 吳江琴, 高 文, 陳熙霖. 基于數(shù)據(jù)手套輸入的漢語(yǔ)手指字母識(shí)別[J]. 模式識(shí)別與人工智能, 1999, 12(1): 74-78.

[9] Iwai Y, Watanabe K, Yagi Y, Yachida M. Gesture recognition using colored gloves [C]//Pattern Recognition 1996, Proceedings of the 13th International Conference on IEEE, 1996, 1: 662-666.

[10] Lee D, Lee S G. Vision-based finger action recognition by angle detection and contour analysis [J]. ETRI Journal, 2011, 33(3): 415-422.

[11] 李博男, 林 凡. 基于曲率的指尖檢測(cè)方法[J]. 南京航空航天大學(xué)學(xué)報(bào), 2012, 44(4): 587-591.

[12] 鄧 瑞, 周玲玲, 應(yīng)忍冬. 基于 Kinect 深度信息的手勢(shì)提取與識(shí)別研究[J]. 計(jì)算機(jī)應(yīng)用研究, 2013, 30(4): 1263-1265.

[13] Liang Hui, Yuan Junsong, Thalmann D. 3D fingertip and palm tracking in depth image sequences [C]// Proceedings of the 20th ACM International Conference on Multimedia. ACM, 2012: 785-788.

[14] 曹雛清, 李瑞峰, 趙立軍. 基于深度圖像技術(shù)的手勢(shì)識(shí)別方法[J].計(jì)算機(jī)工程, 2012, 38(8): 16-21

[15] 梅萍華, 李 斌, 朱中的, 汪郭橋. 基于徑向?qū)ΨQ變換的實(shí)時(shí)指尖檢測(cè)算法[J]. 中國(guó)科學(xué)技術(shù)大學(xué)學(xué)報(bào), 2011, 41(2): 101-107.

[16] 王曉凱, 李 鋒. 改進(jìn)的自適應(yīng)中值濾波[J]. 計(jì)算機(jī)工程與應(yīng)用, 2010, 46(3): 175-176, 218.

[17] Caglar M B, Lobo N. Open hand detection in a cluttered single image using finger primitives [C]// Computer Vision and Pattern Recognition Workshop 2006, CVPRW'06 Conference on IEEE, 2006: 148-148.

A Real Time Fingertip Detection Method Combining Curvature and Paralleled-Vector

Wang Yun, Gan Quan, Li Lin
(College of Computer Science and Technology, Hefei University of Technology, Hefei Anhui 230009, China)

According to the feature of the fingers' geometry being roughly parallel, this paper proposes a new method based on curvature and paralleled-vector for fingertip detection. This method first uses depth image information from complex background environment to segment hand quickly, and then based on morphological operations and median filter for smoothing, edges can be extracted. Subsequently, we can use curvature to locate the position of the virtual fingertips. Finally the paralleled-vector feature is adopted to rule out error detection points. The experimental results show that the method in different finger motions, different light intensities, and complex environment can locate the position of the fingertips. Besides, the fingertips detection rate can reach 98.64%.

fingertip detection; depth image; curvature; paralleled-vector

TP 391

A

2095-302X (2014)02-0285-05

2013-06-21；定稿日期：2013-08-26

青年國(guó)家自然科學(xué)基金資助項(xiàng)目（61305093）；高等學(xué)校博士學(xué)科點(diǎn)專項(xiàng)科研基金資助項(xiàng)目（20120111110003）

汪 云（1990-），女，安徽黃山人，碩士研究生。主要研究方向?yàn)樘摂M現(xiàn)實(shí)與人機(jī)交互。E-mail：984145687@qq.com

李 琳（1977-），女，安徽合肥人，講師，博士。主要研究方向?yàn)樘摂M現(xiàn)實(shí)與人機(jī)交互。E-mail：24306317@qq.com