樊景超 周國民

摘要：針對膚色識別易受環(huán)境影響問題，提出了一種基于Kinect骨骼信息和改進重心距離法的手指指尖識別方法。首先采用微軟Kinect 攝像頭獲取人體骨骼信息，并將雙手坐標點的三維信息轉(zhuǎn)換成彩色圖上的二維信息進行手掌區(qū)域的提取。然后利用OpenCV基于膚色檢測算法將手掌輪廓從背景圖像中分割出來。最后針對重心距離法魯棒性差的特點提出一個改進因子。實驗結(jié)果證明，該方法可以高效地檢測出手指的指尖位置，識別出人體的手指。實驗結(jié)果表明該方法能有效排除類膚色區(qū)域和手指輪廓不足對指尖檢測造成的影響， 具有較高的檢測精度。

關(guān)鍵詞： 骨骼跟蹤；指尖識別；Kinect

中圖分類號：TP18 文獻標識碼：A 文章編號：1009-3044（2014）22-5287-04

在與計算機、手機等智能設(shè)備進行人機交互過程中，手都起到了非常重要的作用。隨著計算機技術(shù)的飛速進步，但是鼠標、鍵盤作為傳統(tǒng)的人機交互設(shè)備從第一臺計算機應(yīng)用以來仍然占據(jù)著主導地位。最近，一些革命性的控制器和傳感器被發(fā)明，用于實現(xiàn)更自然的人機交互，例如數(shù)據(jù)手套，觸摸顯示屏、語音合成器、位置跟蹤器等等。用戶為了獲得較高的精度不得不與設(shè)備的不便和束縛想妥協(xié)。手部的方位、運動、姿勢都包含了重要的人機交互信息[1-6]，因此手部識別提供了一種非常誘人的人機交互方法，由于其具有不依賴復雜的硬件設(shè)備的有點，擁有廣泛的應(yīng)用前景和研究價值。為了讓計算機能理解我們手的行為， 首先必須讓計算機能夠“看到”它，國內(nèi)很多學者展開了基于單目機器視覺的手勢識別研究[7-14]。

隨著微軟體感周邊外設(shè)Kinect的推出， 讓我們有機會采用比較低的成本實現(xiàn)三維空間中用戶及手的識別， 從而讓大眾都有可能享受到便捷的人機交互方式。該文利用Kinect 傳感器的骨骼跟蹤技術(shù)，從復雜背景下首先提取出手部圖像，然后利用手部膚色一致這一特征提取出手部的外圍輪廓，最后通過改進重心距離法來提取出指尖位置。

1 算法描述

本文采用了微軟公司的Kinect外設(shè)作為用戶信息采集手段。程序分為三個模塊，分別是手掌提取、輪廓提取和指尖識別。三個功能模塊順序執(zhí)行來完成指尖的最終識別。

1.1手掌區(qū)域提取

指尖識別的第一步是獲取用戶手掌所在的圖像區(qū)域，基于機器視覺的獲取方法首先要消除背景信息和自身其他膚色如臉部和手臂的干擾。Kinect傳感器可以同時獲取RGB彩色圖像和深度數(shù)據(jù)，使用微軟提供的Kinect SDK程序可以從Kinect骨骼數(shù)據(jù)流中獲取骨骼三維坐標信息。將坐標信息映射到獲取的彩色圖像上，對于關(guān)節(jié)點用圓形顯示，各個關(guān)節(jié)之間用直線連接。將用戶的骨骼信息繪制到彩色圖像上以判斷獲取的骨骼信息是否正確。

邊界提取算法如下：從深度圖像中提取出人體的雙手的三維坐標信息，以投射到彩色圖像平面的坐標點（x，y）為中心，設(shè)定一個初始最大正方形邊長乘以一個距離系數(shù)來獲取手部區(qū)域。距離系數(shù)=1-Duser/Dmax。其中Duser是測試者手部與Kinect探頭之間的距離，Dmax是Kinect的最大有效探測距離。根據(jù)該公式，獲取的用戶手部區(qū)域會根據(jù)用戶的遠近進行動態(tài)變化以有效提取手部。圖1是測試者距離Kinect探頭的距離在1.3m的骨骼信息和手掌提取測試截圖，經(jīng)過實驗驗證設(shè)定的矩形區(qū)域邊長為80像素可以完整包圍手部。

1.2輪廓提取

手部提取獲取的是一個包含手掌輪廓的矩形區(qū)域，指尖識別的第二步就是從該區(qū)域中提取中手掌的外部輪廓，為指尖識別做準備?？紤]到手部特征Kinect彩色攝像頭提取到的主要特征有顏色和形狀這兩種最明顯的特征[15]。形狀是指手部特有的形狀手指從手掌向外延伸，但是手勢人體最靈活的部分，它具有高度自由，從而導致手型有多重變化，因此很難找到一個特征提取的規(guī)律，而顏色也就是膚色，不但容易識別而且非常均勻，容易識別。膚色提取僅僅需要對檢測圖像中符合的顏色進行提取。

基于膚色的手部提取是利用人體的膚色特征，該方法不受目標位置、角度和大小的影響，具有較強的穩(wěn)定性。在手部識別中，由于手部膚色在背景中突出且顏色均勻，膚色作為手部的重要特征可以作為檢測手部的識別條件。在膚色判定之前，需要確定使用的顏色空間，并且在顏色空間中建立膚色模型。在得到手部圖像后使用OpenCV的canny算子得到手部的外輪廓邊緣，并將輪廓的重心作為掌心。圖2中所示是將提取的手掌區(qū)域經(jīng)過膚色提取、canny算子和重心提取的過程截圖。

1.3指尖識別

指尖識別使用的是如圖3所示的重心距離法[16]，紅色點是手的重心，那么手的邊緣的所有點與重心點的距離按順時針方向或者逆時針方向遍歷，將出現(xiàn)峰值的輪廓點作為指尖的候選點。根據(jù)手指特點正常情況下，手指的y坐標應(yīng)該高于掌心坐標，因此遍歷完外圍輪廓之后，將候選點的坐標與掌心坐標進行比對，低于掌心坐標的候選點將予以剔除。

圖4測試者雙手的變化手型的和指尖識別的測試截圖，測試者一共設(shè)計了7個雙手手型，雙手對稱，從測試結(jié)果來看測試結(jié)果不夠理想，產(chǎn)生這種結(jié)果的主要原因是重心距離法是一種粗糙的識別方法，手指峰值的識別方法對與Kinect采集的彩色圖像并不適用，Kinect的有效距離是0.8m～4m。因此導致手部區(qū)域在Kinect彩色圖像上所占區(qū)域較小，即有效像素較少。而原有手指峰值的認定方法需要在峰值區(qū)域找到40個連續(xù)下降點，才認定該點為指尖。

為了解決該問題，該文提出一種改進型的重心距離法：首先將指尖峰值的認定參數(shù)調(diào)低由40個連續(xù)下降點減少到20個，但是該方法帶來的問題是引入了錯誤指尖，很容易將手指根部的關(guān)節(jié)處也認定為手指指尖。因此本文根據(jù)手指和關(guān)節(jié)處到掌心的距離特點，對指尖候選點增加了一個過濾條件：滿足公式1才能確認為指尖，否則剔除。公式中Dcur代表當前峰值到掌心距離，Dmax代表最大峰值距離，Dmin代表最小峰值距離（該點一般為關(guān)節(jié)處）。即當前峰值與關(guān)節(jié)的落差應(yīng)該超過最大手指峰值與關(guān)節(jié)點的1/3。即手指完全伸開的情況，手指之間的落差不會太大。

2 實驗結(jié)果

本 文 使 用的計算機配置為Intel（R）Xeon Processor 3.4GHz，4.00GB 內(nèi)存，攝像頭是一個Kinect for XBOX 攝像頭。系統(tǒng)運行時Kinect 彩色攝像頭的分辨率是640*480，視頻幀的速率為30fps。利用Microsoft Visual Studio 2010 作為系統(tǒng)開發(fā)平臺，并結(jié)合微軟公司發(fā)布的MicrosoftKinect SDK 工具包以及Opencv 2.4.7版本完成上述手指指尖識別實驗。

2.1手掌提取測試

Kinect 攝像頭能提供距離范圍在0.8～ 4米的深度圖像。針對人到 Kinect 攝像頭不同的距離Z，測試其手勢分割情況。測試結(jié)果如圖6所示。

實驗結(jié)果是在測試者距Kinect設(shè)備最近0.8m和最遠處3.8m處的實驗結(jié)果，從圖6中可以看出 Microsoft Kinect SDK提供的骨架跟蹤技術(shù)可以有效的提取手部區(qū)域。

2.2 指尖識別測試

為了測試Kinect在不同距離上應(yīng)用改進后重心距離法進行指尖識別的精度，實驗設(shè)計了四個不同的距離進行指尖識別的實驗，每次試驗分別測試手指1指到5指的識別的情況，測試基數(shù)為30個，識別結(jié)果如表1所示。

由實驗可知，隨著距離的有近及遠，手指的識別率逐步降低，主要原因是隨著距離的增加，人手指的像素點會變少、手指之間的像素點會變得模糊。

3 結(jié)論

本文設(shè)計并實現(xiàn)了基于Kinect 精確捕獲被測對象骨骼信息空間坐標數(shù)據(jù)體骨骼信息并與OpenCV相結(jié)合的手指指尖識別方法，能夠檢測識別手掌輪廓以及伸直和彎曲的手指。相比于傳統(tǒng)的基于膚色的指尖識別方法，該文方法增加了人體骨骼信息，能夠快速地找到手掌位置并以此為基礎(chǔ)追蹤手掌輪廓和識別指尖。通過改進重心距離法有效提高了指尖識別的魯棒性。同時該研究還有一定的不足，由于Kinect本身在環(huán)境光線較弱時，對識別對象的檢測沒有較好的防抖處理，所以在操作時會發(fā)生抖動產(chǎn)生的誤差干擾。相信本研究必將在更廣闊的領(lǐng)域得到更深層次的應(yīng)用。

參考文獻：

[1] 任雅祥.基于手勢識別的人機交互發(fā)展研究[J].計算機工程與設(shè)計，2006，27（7）1201-1204.

[2] 李勇，高文，姚鴻勛.基于顏色手套的中國手指語字母的動靜態(tài)識別[J].計算機工程與應(yīng)用，2002，17，55-58.

[3] 李清水，方志剛，沈模衛(wèi)等.手勢識別技術(shù)及其在人機交互中的應(yīng)用[J].人類工效學，2002，8（1）27-31.

[4] 曾維.手勢識別系統(tǒng)中手指及指尖檢測方法[J]研究與開發(fā)，2013，32（4）39-42.

[5] 鄒偉，原魁，劉賢華等.一種單手動態(tài)手指語的識別方法[J].信息與控制，2003，32（1）28-33.

[6] 于蘊杰，管業(yè)鵬，熊會軍.指勢識別的實時指尖提取[J].計算機工程與應(yīng)用，2011，47（6）219-223.

[7] 男睿.基于單目視覺的手指識別跟蹤系統(tǒng)設(shè)計[D].哈爾濱：哈爾濱工業(yè)大學，2013.

[8] 馬志強.電腦游戲中基于計算機視覺的手勢識別技術(shù)研究[D].南京：南京師范大學，2012.

[9] 周航.基于計算機視覺的手勢識別系統(tǒng)研究[D].北京：北京交通大學，2007.

[10] 鄔大鵬.基于視覺的手勢識別及人機交互研究[D].南京：南京航空航天大學，2010.

[11] 賈建軍.基于視覺的手勢識別技術(shù)的研究[D].哈爾濱：哈爾濱工業(yè)大學，2008.

[12] 郭興偉.基于視覺的手勢識別算法研究[D].上海：上海海運學院，2003.

[13] 王冉冉.基于視覺的手勢識別在智能電視上的應(yīng)用研究[D].青島：中國海洋大學，2013.

[14] 吳浩.基于視覺的應(yīng)用于智能控制的手勢識別技術(shù)的研究[D]成都：電子科技大學，2008.

[15] 張登康，郭太良，姚劍敏等.改進膚色識別參量和輪廓特征相結(jié)合的指尖檢測[J].光電子技術(shù)，2012，9（3）：185-189.

[16] OpenCV簡單粗糙的指尖檢測方法： http：//blog.csdn.net/augusdi/article/details/8865589.