劉瑜興，王淑俠，徐光耀，蘭望桂，何衛(wèi)平

基于Leap Motion的三維手勢交互系統(tǒng)研究

劉瑜興，王淑俠，徐光耀，蘭望桂，何衛(wèi)平

(西北工業(yè)大學(xué)機(jī)電學(xué)院，陜西 西安 710072)

手勢識(shí)別的快速發(fā)展及體感設(shè)備的不斷更新為三維手勢交互提供了靈感，基于Leap Motion手勢識(shí)別和最鄰近算法，建立了一種三維手勢交互系統(tǒng)。首先對(duì)手勢設(shè)計(jì)理論和交互手勢設(shè)計(jì)原則進(jìn)行研究，基于此設(shè)計(jì)手勢功能和建立手勢庫，并將手勢庫分為8種手勢；其次進(jìn)行手勢特征提取，建立手指關(guān)鍵點(diǎn)模型，獲取手勢特征的角度特征；然后計(jì)算KNN算法和SVM算法的手勢識(shí)別效率，KNN改進(jìn)算法取得較好的識(shí)別效率；最后，設(shè)計(jì)三維交互系統(tǒng)，手勢分類為4個(gè)模塊，每個(gè)模塊有2個(gè)手勢任務(wù)；20名測試者中提取1 600組手勢數(shù)據(jù)，并進(jìn)行總采集樣本關(guān)節(jié)點(diǎn)均值的數(shù)據(jù)分析；設(shè)計(jì)三維交互系統(tǒng)模塊，在Unity3D中創(chuàng)建的三維交互系統(tǒng)中導(dǎo)入1 600組手勢數(shù)據(jù)，根據(jù)自定義的8種手勢驅(qū)動(dòng)虛擬手完成交互設(shè)計(jì)過程，完成用戶體驗(yàn)分析和手勢識(shí)別效率統(tǒng)計(jì)。通過研究發(fā)現(xiàn)，基于Leap Motion手勢識(shí)別具有較高的識(shí)別效率，三維手勢交互系統(tǒng)富有創(chuàng)新性。

手勢識(shí)別；最鄰近算法識(shí)別；手勢交互設(shè)計(jì)；Leap Motion

隨著互聯(lián)網(wǎng)時(shí)代的到來，人機(jī)交互也應(yīng)運(yùn)而生。交互是指借助一定的載體進(jìn)行信息交流，人機(jī)交互技術(shù)(human computer interaction，HCI)[1]指的是人通過一定的設(shè)備和計(jì)算機(jī)進(jìn)行信息交流，人可以使用輸入設(shè)備給計(jì)算機(jī)輸入文字、語音等來發(fā)起請求，而計(jì)算機(jī)使用輸出設(shè)備給用戶顯示出信息來響應(yīng)請求。目前，應(yīng)用最為廣泛、技術(shù)最為成熟的人機(jī)交互方式依然是鍵盤與鼠標(biāo)，其單一性使得人們對(duì)更高層次、更友好的人機(jī)交互方式提出需求?，F(xiàn)階段人機(jī)交互新技術(shù)的研究內(nèi)容主要集中在手勢識(shí)別、語音識(shí)別、人腦控制等方面。以人的手勢為研究對(duì)象，研究手勢交互方式。

手勢識(shí)別[2-14]是通過算法來識(shí)別人類手勢。手勢建模[15]對(duì)手勢識(shí)別也是很關(guān)鍵的，基于3D模型和基于表觀是常用的手勢建模方法。前者通過建立當(dāng)前圖像的3D模型輔以相關(guān)參數(shù)來計(jì)算出手勢的狀態(tài)信息。

人手的動(dòng)作分為有意識(shí)的和無意識(shí)的動(dòng)作。手勢還可以分為操作型和通訊型手勢。手勢的分類早在40年代，心理學(xué)家QUEK[16]、PAVLOVIC等[17]從人機(jī)接口角度對(duì)手勢進(jìn)行研究。在自然人機(jī)交互的領(lǐng)域里，KARAM和SCHRAEFEL[18]提出了手勢劃分可分為5類，即指示性手勢、示意性手勢、操作性手勢、信號(hào)性手勢和手語性手勢。

Leap Motion Controller定位手(hand)、手指(finger)和類似手指的工具(pointable)，精確度達(dá)到0.01 mm。通過紅外LED對(duì)圖像進(jìn)行光補(bǔ)償，雙高清攝像頭從不同位置拍攝得到高分辨率的立體紅外圖像，模擬人類的雙目立體視覺[19]進(jìn)行手勢位置判Leap Motion Controller定位手(hand)、手指(finger)和類似手指的工具(pointable)，使用的測量方法稱作三角測量法[20]。Leap Motion拆開內(nèi)部構(gòu)件如圖1，圖2為Leap Motion的工作范圍，呈倒金字塔狀，圖3為Leap Motion坐標(biāo)系。

圖2 Leap Motion工作范圍

圖3 Leap Motion坐標(biāo)系

1 手勢設(shè)計(jì)與定義

手勢設(shè)計(jì)需遵循手語識(shí)別設(shè)計(jì)理論和手勢設(shè)計(jì)原則。手語識(shí)別主要由數(shù)據(jù)獲取、特征表示和分類識(shí)別構(gòu)成整體流程。常見的特征提取分為軌跡特征和手形特征，軌跡特征主要用來采集手的角度、加速度、位置等信息，進(jìn)行手勢特征提取，然后進(jìn)行手勢識(shí)別。手勢設(shè)計(jì)原則主要包括用戶方面、交互過程和交互系統(tǒng)。通過對(duì)手勢理論的研究，結(jié)合手勢設(shè)計(jì)原則，從而進(jìn)行手勢定義。

1.1 手勢設(shè)計(jì)

(1) 手勢設(shè)計(jì)原則[21]。主要體現(xiàn)在用戶方面、交互過程和交互系統(tǒng)(表1)。①用戶方面，手勢設(shè)計(jì)的最終目的是為了用戶操作方便，所以，設(shè)計(jì)符合用戶使用的手勢；以用戶的同理心和用戶行為研究角度出發(fā)，符合用戶認(rèn)知行為，避免過多的學(xué)習(xí)，應(yīng)增加對(duì)用戶的指導(dǎo)，避免用戶操作失誤；對(duì)于用戶來說，操作簡單方便、直觀自然，符合用戶常用習(xí)慣；并在手勢操作中體驗(yàn)快樂。②交互過程，保證手勢設(shè)計(jì)的交互流暢和降低疲勞。③交互系統(tǒng)，簡化手勢設(shè)計(jì)和手勢設(shè)計(jì)的系統(tǒng)性，保證手勢設(shè)計(jì)風(fēng)格的統(tǒng)一性和功能交叉少。④及時(shí)反饋，在用戶操作的過程中，計(jì)算機(jī)系統(tǒng)應(yīng)對(duì)用戶的行為及時(shí)進(jìn)行多種反饋提示，這樣方便用戶進(jìn)行操作。

表1 手勢設(shè)計(jì)原則

(2) 根據(jù)手勢設(shè)計(jì)原則，進(jìn)行裸手手勢設(shè)計(jì)。手勢識(shí)別分為靜態(tài)和動(dòng)態(tài)2類，手勢識(shí)別主要基于三維人機(jī)交互的情況下進(jìn)行手勢識(shí)別。本文主要構(gòu)建了8種手勢(表2)：復(fù)制、選中、移動(dòng)、貼圖、放大、旋轉(zhuǎn)、刪除和完成。

表2 手勢設(shè)計(jì)類別