鄔旭，張倩

（1.天津理工大學(xué)，天津，300384；2.天津城建大學(xué)，天津，300384）

0 引言

近年來，研究人員一直致力于開發(fā)更加自然的人機交互（HCI）界面，以方便用戶搭建與產(chǎn)品之間更加直觀的交互方式。手勢交互的研究是其中一項重要分支。手勢交互即用戶通過使用手和手指的姿勢或運動向產(chǎn)品發(fā)出指令。

在二維手勢交互中，用戶不再需要使用傳統(tǒng)的設(shè)備（例如鼠標(biāo)和鍵盤），僅通過指尖觸摸屏幕表面即可發(fā)出指令。在目前智能移動設(shè)備（例如智能手機、平板電腦）的操作中已得到廣泛應(yīng)用。二維手勢交互的局限性在于：它仍需借助屏幕傳感器對于指尖的感測來接收和發(fā)布指令。隨著運動捕捉技術(shù)、傳感技術(shù)、算法技術(shù)的發(fā)展，三維手勢交互逐漸成熟。對于三維手勢交互，用戶可以無需再借助任何外部設(shè)備，僅通過在三維空間的手勢動作就可以輕松的控制操作界面。用戶將擁有與產(chǎn)品更加直觀和自由的互動方式。無論是單獨使用還是與其它交互方式形成多模式互補，都能發(fā)揮出良好的效果，在未來擁有廣泛的應(yīng)用前景。與傳統(tǒng)的UI界面或語音交互相比，具有以下優(yōu)勢：

(1)速度：如果需要快速響應(yīng)，手勢比說話更快；(2)距離：如果需要跨越房間進行交流，做手勢比動嘴巴更容易；(3)表意簡潔：表達一定含義用到的手勢越簡潔，越容易被記住；(4)表現(xiàn)力：手勢非常適合表達情感。

進入老齡化社會后，越來越多智能設(shè)備將進入老年人的家中。老年人相比于年輕人，在認(rèn)知能力、記憶能力和判斷能力方面均有不同程度的下降，現(xiàn)有的多種交互模式對于老年人來說過于復(fù)雜。因此創(chuàng)建一套應(yīng)用在智能家居系統(tǒng)中并充分滿足老年人需求的三維手勢交互集非常必要。

1 文獻綜述

關(guān)于三維手勢交互，國外已經(jīng)進行了一些相關(guān)研究。Bowman和Wingrave（2001）研究了在菜單選擇界面已經(jīng)設(shè)計用于手勢交互的可能性[1]。Alpern and Minardo（2003）開發(fā)了一個簡單的汽車導(dǎo)航娛樂系統(tǒng)手勢界面[2]。Karam和Scheraefel（2005）開發(fā)了用于控制背景音樂的手勢[3]。Wachs、Kolsch、Stern和Edan（2011）研究了心理作用對于手勢交互作用的影響以及相比于傳統(tǒng)的輸入設(shè)備或二維手勢輸入，三維手勢交互對于HCI的優(yōu)勢[4]。國內(nèi)對于三維手勢交互的大多集中在對于手勢識別技術(shù)層面的研究，李清水、方志剛等（2000）提出了手勢交互在人機交互中的應(yīng)用[5]。楊波、宋曉娜等（2010）分析了復(fù)雜背景下基于空間分布特征的手勢識別算法[6]。

2 方法

■2.1 查找命令手勢

實驗人員收集了智能家居系統(tǒng)的各類產(chǎn)品的指令，并對其進行了歸納，同時還借鑒了之前二維觸摸感應(yīng)交互研究中的指令。最終實驗人員選取了智能家居五大門類11種產(chǎn)品共計40種目標(biāo)指令（見表1）。

表1 選擇進行實驗的智能家居產(chǎn)品40個指令

■2.2 實驗人員和測試環(huán)境和實驗程序

共有30名老年人參加實驗，其中16名為女性，12名為男性，平均年齡為63.5歲。受試者安排在1間長寬2.5m×2.5m房間內(nèi)進行測試（圖1）。實驗進行前，實驗人員將首先對受試者進行實驗原理和過程說明。受試者將被要求想象他們是出現(xiàn)在一所智能家居中，該房間內(nèi)的產(chǎn)品可以通過他們的手勢指令進行操控。受試者需要對40個指令提供手勢，其中每一個指令至少提供兩種不同的手勢（圖2）。實驗過程期間實驗人員會使用錄像機進行記錄并分析。

圖1 實驗環(huán)境

圖2 實驗過程中受測者作出手勢

■2.3 評估方法

由于很多受試者做出的手勢僅存在細(xì)微差別，為了防止重復(fù)計算對后期評估造成的影響，因此在對其進行評估之前，首先要對得到的手勢影像進行分析，以歸類基本相同的手勢。歸類的標(biāo)準(zhǔn)在于手的姿勢和手部的運動軌跡。姿勢包括手指、手腕和前臂的末端姿勢。運動軌跡包括關(guān)節(jié)運動的方向和手指、手腕和前臂的同步運動軌跡。若兩項標(biāo)準(zhǔn)基本相同，則將其歸類為同一種手勢。在歸類結(jié)束之后，將會對采集到的手勢進行評估。每一名受試者將在實驗人員的說明下完成一組李克特量表(Likert scale)測試，以便了解受試者對于做出的手勢的主觀評價。評價對象為測試的40個命令對應(yīng)的出現(xiàn)頻率最高的前兩個手勢。評價標(biāo)準(zhǔn)則來自于四個方面[7]：

偏好度：指自己對于該手勢的滿意程度。 匹配度：手勢與指令之間的匹配程度。困難度：手勢時做出時的困難程度。易記憶性：手勢是否容易被記憶。

每一項標(biāo)準(zhǔn)將根據(jù)非常滿意（5分）、滿意（4分）、不確定（3分）、不滿意（2分）、非常不滿意（1分）5個層級進行綜合打分。最終的評估結(jié)果會根據(jù)評估得分和后期專家的評估綜合做出。

3 結(jié)果與討論

■3.1 結(jié)果

根據(jù)實驗提供的40項指令，受試者共創(chuàng)建了超過2600種不同的手勢；經(jīng)過手勢歸類，受試者對每個指令出現(xiàn)頻率前兩位的手勢進行李克特量表(Likert scale)評分，將根據(jù)以上評分結(jié)果結(jié)合專家的后期評審綜合做出最終選定的手勢。

由于出現(xiàn)有不同的指令由相同的手勢表示的情況，因此只最終形成了16種手勢，在圖3中對這些手勢進行了詳盡的表現(xiàn)：圖中左側(cè)列出的是每種指令出現(xiàn)頻率最高的前兩種手勢以及最終選定的對應(yīng)手勢的具體動作，其中的黑色箭頭表示運動的方向，灰色的虛框表示運動的軌跡。旁邊的柱狀分析圖表示針對每個指令創(chuàng)建的手勢種類的數(shù)量及每種手勢出現(xiàn)頻率占總數(shù)的百分比。

圖3 每種指令出現(xiàn)頻率最高的前兩種手勢，柱狀圖代表每種手勢出現(xiàn)頻率占總數(shù)的百分比

■3.2 手勢交互的特性

經(jīng)過后期對手勢指令進行的分析與研究，實驗人員發(fā)現(xiàn)了手勢指令具有如下一些特性：

（1）大多數(shù)的手勢模仿了生活中的動作

相當(dāng)多的受試者在根據(jù)指令創(chuàng)建手勢的時候引入或吸取了日常生活中的對應(yīng)動作。同時該類手勢在偏好度、匹配度和易記憶性的三項評分中也名列前茅[8]。例如對于接電話的指令，有超過7成的受試者創(chuàng)建的手勢模仿了日常生活中的接電話動作，即單手在耳邊做“六”手勢。還有一些手勢是受試者是根據(jù)相關(guān)場景聯(lián)想到的，例如智能音響的打開和關(guān)閉中，受試者通過音樂聯(lián)想到音樂會，進而聯(lián)想到音樂會上指揮家的動作，從而做出相關(guān)手勢，即雙手向上做樂隊指揮動作。

（2）雙手手勢中的合作分工

在實驗中部分受試者使用雙手協(xié)同完成指令，且雙手具有明確的任務(wù)分工：通常左手作為“主體手”，主要用來表達指令執(zhí)行的主體或指令本身；右手作為“修飾手”，用來表達具體的指令動作。面對同一主體的不同指令，通常左手保持不變，通過右手動作的變換指代不同的指令。從而實現(xiàn)了用較少的手勢對于多重含義的表達。例如在電視聲音提高/降低的命令中，使用右手作出方框（電視）的形狀，左手分別做出抬升，下降五指向中心張開及五指分開的姿勢分別代表播放器聲音打開、關(guān)閉、提高和降低的指令。

（3）少數(shù)用戶的手勢可能是更好的手勢

同一指令選取出現(xiàn)頻率最高的前兩類手勢進行評估的方法是基于只有受到更多人接受的手勢才會是更好的手勢的理念而制定的。但在后期分析中，經(jīng)過與專家探討，實驗人員發(fā)現(xiàn)其中部分因出現(xiàn)頻率較低而未被選中的手勢其實非常有趣。這些手勢雖然出現(xiàn)幾率很低，但卻令人眼前一亮，具有非常強的創(chuàng)意性和匹配度。例如對于“關(guān)閉”空調(diào)的指令，一位受試者做出了雙手摩擦的手勢。因手勢只出現(xiàn)了一次，因此未被選中。但專家對于該手勢用雙手摩擦表示房間寒冷需要關(guān)閉空調(diào)的想法非常欣賞，并引發(fā)了爭論。這似乎表明少數(shù)用戶的手勢可能是更好的手勢。

為了驗證該想法，實驗人員將一些出現(xiàn)頻率低但受到專家好評的手勢與受試者進行了交流，結(jié)果發(fā)現(xiàn)：在給受試者觀看了其他人的手勢之后，當(dāng)他們觀察到別人做出了自己沒有想到的適合的手勢的時候，他們感到非常興奮。并表示若再次進行實驗，他們會對自己的之前的手勢選擇進行更改。這證明了之前的假想：即少數(shù)用戶的手勢可能是更好的手勢。

■3.3 局限性

由于條件的局限，本次實驗存在一定的局限性。主要有兩個方面：首先，進行本次實驗的受試者大部來自于中國北方地區(qū)，且均為以漢語為主要語言的漢族居民。根據(jù)David Rose的研究，手勢具有代際特征。來自于不同地區(qū)或文化背景的用戶會作出不同偏好的任務(wù)手勢。因此在未來的實驗中應(yīng)當(dāng)考慮繼續(xù)加入更多地區(qū)的人群。其次，受到到實驗時間的限制，每一個手勢命令中只對兩個出現(xiàn)頻率最高的手勢進行了偏好、匹配度、困難度和易記憶性的主觀評分和專家分析。因此，這可能會導(dǎo)致一些有價值的手勢未來在評估中被遺漏。

4 結(jié)語

本文的目標(biāo)創(chuàng)建一套應(yīng)用在智能家居系統(tǒng)中并充分滿足老年人需求的三維手勢交互集，通過建立讓用戶參與手勢設(shè)計的實驗，指導(dǎo)30名受試者針對40個種常見的人機交互任務(wù)開發(fā)手勢，并根據(jù)偏好度、困難度、匹配度和易記憶性四個方面進行了李克特量表評分和后期專家研究，運用上述方法得到了一組應(yīng)用于智能家居系統(tǒng)并適應(yīng)老年人用戶群體的三維任務(wù)手勢詞典。同時發(fā)現(xiàn)了用戶在手勢的創(chuàng)建中有偏向使用日常生活動作、習(xí)慣雙手協(xié)同及少數(shù)用戶的手勢可能是更好的等三方面特征，為未來中國老年人運用三維手勢交互使用智能產(chǎn)品提供了，更好進行人機交互，更好的提升老年人HCI的滿意度。