鄔旭，張倩

（1.天津理工大學(xué)，天津，300384；2.天津城建大學(xué)，天津，300384）

0 引言

近年來，研究人員一直致力于開發(fā)更加自然的人機(jī)交互（HCI）界面，以方便用戶搭建與產(chǎn)品之間更加直觀的交互方式。手勢(shì)交互的研究是其中一項(xiàng)重要分支。手勢(shì)交互即用戶通過使用手和手指的姿勢(shì)或運(yùn)動(dòng)向產(chǎn)品發(fā)出指令。

在二維手勢(shì)交互中，用戶不再需要使用傳統(tǒng)的設(shè)備（例如鼠標(biāo)和鍵盤），僅通過指尖觸摸屏幕表面即可發(fā)出指令。在目前智能移動(dòng)設(shè)備（例如智能手機(jī)、平板電腦）的操作中已得到廣泛應(yīng)用。二維手勢(shì)交互的局限性在于：它仍需借助屏幕傳感器對(duì)于指尖的感測(cè)來接收和發(fā)布指令。隨著運(yùn)動(dòng)捕捉技術(shù)、傳感技術(shù)、算法技術(shù)的發(fā)展，三維手勢(shì)交互逐漸成熟。對(duì)于三維手勢(shì)交互，用戶可以無需再借助任何外部設(shè)備，僅通過在三維空間的手勢(shì)動(dòng)作就可以輕松的控制操作界面。用戶將擁有與產(chǎn)品更加直觀和自由的互動(dòng)方式。無論是單獨(dú)使用還是與其它交互方式形成多模式互補(bǔ)，都能發(fā)揮出良好的效果，在未來?yè)碛袕V泛的應(yīng)用前景。與傳統(tǒng)的UI界面或語(yǔ)音交互相比，具有以下優(yōu)勢(shì)：

(1)速度：如果需要快速響應(yīng)，手勢(shì)比說話更快；(2)距離：如果需要跨越房間進(jìn)行交流，做手勢(shì)比動(dòng)嘴巴更容易；(3)表意簡(jiǎn)潔：表達(dá)一定含義用到的手勢(shì)越簡(jiǎn)潔，越容易被記住；(4)表現(xiàn)力：手勢(shì)非常適合表達(dá)情感。

進(jìn)入老齡化社會(huì)后，越來越多智能設(shè)備將進(jìn)入老年人的家中。老年人相比于年輕人，在認(rèn)知能力、記憶能力和判斷能力方面均有不同程度的下降，現(xiàn)有的多種交互模式對(duì)于老年人來說過于復(fù)雜。因此創(chuàng)建一套應(yīng)用在智能家居系統(tǒng)中并充分滿足老年人需求的三維手勢(shì)交互集非常必要。

1 文獻(xiàn)綜述

關(guān)于三維手勢(shì)交互，國(guó)外已經(jīng)進(jìn)行了一些相關(guān)研究。Bowman和Wingrave（2001）研究了在菜單選擇界面已經(jīng)設(shè)計(jì)用于手勢(shì)交互的可能性[1]。Alpern and Minardo（2003）開發(fā)了一個(gè)簡(jiǎn)單的汽車導(dǎo)航娛樂系統(tǒng)手勢(shì)界面[2]。Karam和Scheraefel（2005）開發(fā)了用于控制背景音樂的手勢(shì)[3]。Wachs、Kolsch、Stern和Edan（2011）研究了心理作用對(duì)于手勢(shì)交互作用的影響以及相比于傳統(tǒng)的輸入設(shè)備或二維手勢(shì)輸入，三維手勢(shì)交互對(duì)于HCI的優(yōu)勢(shì)[4]。國(guó)內(nèi)對(duì)于三維手勢(shì)交互的大多集中在對(duì)于手勢(shì)識(shí)別技術(shù)層面的研究，李清水、方志剛等（2000）提出了手勢(shì)交互在人機(jī)交互中的應(yīng)用[5]。楊波、宋曉娜等（2010）分析了復(fù)雜背景下基于空間分布特征的手勢(shì)識(shí)別算法[6]。

2 方法

■2.1 查找命令手勢(shì)

實(shí)驗(yàn)人員收集了智能家居系統(tǒng)的各類產(chǎn)品的指令，并對(duì)其進(jìn)行了歸納，同時(shí)還借鑒了之前二維觸摸感應(yīng)交互研究中的指令。最終實(shí)驗(yàn)人員選取了智能家居五大門類11種產(chǎn)品共計(jì)40種目標(biāo)指令（見表1）。

表1 選擇進(jìn)行實(shí)驗(yàn)的智能家居產(chǎn)品40個(gè)指令

■2.2 實(shí)驗(yàn)人員和測(cè)試環(huán)境和實(shí)驗(yàn)程序

共有30名老年人參加實(shí)驗(yàn)，其中16名為女性，12名為男性，平均年齡為63.5歲。受試者安排在1間長(zhǎng)寬2.5m×2.5m房間內(nèi)進(jìn)行測(cè)試（圖1）。實(shí)驗(yàn)進(jìn)行前，實(shí)驗(yàn)人員將首先對(duì)受試者進(jìn)行實(shí)驗(yàn)原理和過程說明。受試者將被要求想象他們是出現(xiàn)在一所智能家居中，該房間內(nèi)的產(chǎn)品可以通過他們的手勢(shì)指令進(jìn)行操控。受試者需要對(duì)40個(gè)指令提供手勢(shì)，其中每一個(gè)指令至少提供兩種不同的手勢(shì)（圖2）。實(shí)驗(yàn)過程期間實(shí)驗(yàn)人員會(huì)使用錄像機(jī)進(jìn)行記錄并分析。

圖1 實(shí)驗(yàn)環(huán)境

圖2 實(shí)驗(yàn)過程中受測(cè)者作出手勢(shì)

■2.3 評(píng)估方法

由于很多受試者做出的手勢(shì)僅存在細(xì)微差別，為了防止重復(fù)計(jì)算對(duì)后期評(píng)估造成的影響，因此在對(duì)其進(jìn)行評(píng)估之前，首先要對(duì)得到的手勢(shì)影像進(jìn)行分析，以歸類基本相同的手勢(shì)。歸類的標(biāo)準(zhǔn)在于手的姿勢(shì)和手部的運(yùn)動(dòng)軌跡。姿勢(shì)包括手指、手腕和前臂的末端姿勢(shì)。運(yùn)動(dòng)軌跡包括關(guān)節(jié)運(yùn)動(dòng)的方向和手指、手腕和前臂的同步運(yùn)動(dòng)軌跡。若兩項(xiàng)標(biāo)準(zhǔn)基本相同，則將其歸類為同一種手勢(shì)。在歸類結(jié)束之后，將會(huì)對(duì)采集到的手勢(shì)進(jìn)行評(píng)估。每一名受試者將在實(shí)驗(yàn)人員的說明下完成一組李克特量表(Likert scale)測(cè)試，以便了解受試者對(duì)于做出的手勢(shì)的主觀評(píng)價(jià)。評(píng)價(jià)對(duì)象為測(cè)試的40個(gè)命令對(duì)應(yīng)的出現(xiàn)頻率最高的前兩個(gè)手勢(shì)。評(píng)價(jià)標(biāo)準(zhǔn)則來自于四個(gè)方面[7]：

偏好度：指自己對(duì)于該手勢(shì)的滿意程度。 匹配度：手勢(shì)與指令之間的匹配程度。困難度：手勢(shì)時(shí)做出時(shí)的困難程度。易記憶性：手勢(shì)是否容易被記憶。

每一項(xiàng)標(biāo)準(zhǔn)將根據(jù)非常滿意（5分）、滿意（4分）、不確定（3分）、不滿意（2分）、非常不滿意（1分）5個(gè)層級(jí)進(jìn)行綜合打分。最終的評(píng)估結(jié)果會(huì)根據(jù)評(píng)估得分和后期專家的評(píng)估綜合做出。

3 結(jié)果與討論

■3.1 結(jié)果

根據(jù)實(shí)驗(yàn)提供的40項(xiàng)指令，受試者共創(chuàng)建了超過2600種不同的手勢(shì)；經(jīng)過手勢(shì)歸類，受試者對(duì)每個(gè)指令出現(xiàn)頻率前兩位的手勢(shì)進(jìn)行李克特量表(Likert scale)評(píng)分，將根據(jù)以上評(píng)分結(jié)果結(jié)合專家的后期評(píng)審綜合做出最終選定的手勢(shì)。

由于出現(xiàn)有不同的指令由相同的手勢(shì)表示的情況，因此只最終形成了16種手勢(shì)，在圖3中對(duì)這些手勢(shì)進(jìn)行了詳盡的表現(xiàn)：圖中左側(cè)列出的是每種指令出現(xiàn)頻率最高的前兩種手勢(shì)以及最終選定的對(duì)應(yīng)手勢(shì)的具體動(dòng)作，其中的黑色箭頭表示運(yùn)動(dòng)的方向，灰色的虛框表示運(yùn)動(dòng)的軌跡。旁邊的柱狀分析圖表示針對(duì)每個(gè)指令創(chuàng)建的手勢(shì)種類的數(shù)量及每種手勢(shì)出現(xiàn)頻率占總數(shù)的百分比。

圖3 每種指令出現(xiàn)頻率最高的前兩種手勢(shì)，柱狀圖代表每種手勢(shì)出現(xiàn)頻率占總數(shù)的百分比

■3.2 手勢(shì)交互的特性

經(jīng)過后期對(duì)手勢(shì)指令進(jìn)行的分析與研究，實(shí)驗(yàn)人員發(fā)現(xiàn)了手勢(shì)指令具有如下一些特性：

（1）大多數(shù)的手勢(shì)模仿了生活中的動(dòng)作

相當(dāng)多的受試者在根據(jù)指令創(chuàng)建手勢(shì)的時(shí)候引入或吸取了日常生活中的對(duì)應(yīng)動(dòng)作。同時(shí)該類手勢(shì)在偏好度、匹配度和易記憶性的三項(xiàng)評(píng)分中也名列前茅[8]。例如對(duì)于接電話的指令，有超過7成的受試者創(chuàng)建的手勢(shì)模仿了日常生活中的接電話動(dòng)作，即單手在耳邊做“六”手勢(shì)。還有一些手勢(shì)是受試者是根據(jù)相關(guān)場(chǎng)景聯(lián)想到的，例如智能音響的打開和關(guān)閉中，受試者通過音樂聯(lián)想到音樂會(huì)，進(jìn)而聯(lián)想到音樂會(huì)上指揮家的動(dòng)作，從而做出相關(guān)手勢(shì)，即雙手向上做樂隊(duì)指揮動(dòng)作。

（2）雙手手勢(shì)中的合作分工

在實(shí)驗(yàn)中部分受試者使用雙手協(xié)同完成指令，且雙手具有明確的任務(wù)分工：通常左手作為“主體手”，主要用來表達(dá)指令執(zhí)行的主體或指令本身；右手作為“修飾手”，用來表達(dá)具體的指令動(dòng)作。面對(duì)同一主體的不同指令，通常左手保持不變，通過右手動(dòng)作的變換指代不同的指令。從而實(shí)現(xiàn)了用較少的手勢(shì)對(duì)于多重含義的表達(dá)。例如在電視聲音提高/降低的命令中，使用右手作出方框（電視）的形狀，左手分別做出抬升，下降五指向中心張開及五指分開的姿勢(shì)分別代表播放器聲音打開、關(guān)閉、提高和降低的指令。

（3）少數(shù)用戶的手勢(shì)可能是更好的手勢(shì)

同一指令選取出現(xiàn)頻率最高的前兩類手勢(shì)進(jìn)行評(píng)估的方法是基于只有受到更多人接受的手勢(shì)才會(huì)是更好的手勢(shì)的理念而制定的。但在后期分析中，經(jīng)過與專家探討，實(shí)驗(yàn)人員發(fā)現(xiàn)其中部分因出現(xiàn)頻率較低而未被選中的手勢(shì)其實(shí)非常有趣。這些手勢(shì)雖然出現(xiàn)幾率很低，但卻令人眼前一亮，具有非常強(qiáng)的創(chuàng)意性和匹配度。例如對(duì)于“關(guān)閉”空調(diào)的指令，一位受試者做出了雙手摩擦的手勢(shì)。因手勢(shì)只出現(xiàn)了一次，因此未被選中。但專家對(duì)于該手勢(shì)用雙手摩擦表示房間寒冷需要關(guān)閉空調(diào)的想法非常欣賞，并引發(fā)了爭(zhēng)論。這似乎表明少數(shù)用戶的手勢(shì)可能是更好的手勢(shì)。

為了驗(yàn)證該想法，實(shí)驗(yàn)人員將一些出現(xiàn)頻率低但受到專家好評(píng)的手勢(shì)與受試者進(jìn)行了交流，結(jié)果發(fā)現(xiàn)：在給受試者觀看了其他人的手勢(shì)之后，當(dāng)他們觀察到別人做出了自己沒有想到的適合的手勢(shì)的時(shí)候，他們感到非常興奮。并表示若再次進(jìn)行實(shí)驗(yàn)，他們會(huì)對(duì)自己的之前的手勢(shì)選擇進(jìn)行更改。這證明了之前的假想：即少數(shù)用戶的手勢(shì)可能是更好的手勢(shì)。

■3.3 局限性

由于條件的局限，本次實(shí)驗(yàn)存在一定的局限性。主要有兩個(gè)方面：首先，進(jìn)行本次實(shí)驗(yàn)的受試者大部來自于中國(guó)北方地區(qū)，且均為以漢語(yǔ)為主要語(yǔ)言的漢族居民。根據(jù)David Rose的研究，手勢(shì)具有代際特征。來自于不同地區(qū)或文化背景的用戶會(huì)作出不同偏好的任務(wù)手勢(shì)。因此在未來的實(shí)驗(yàn)中應(yīng)當(dāng)考慮繼續(xù)加入更多地區(qū)的人群。其次，受到到實(shí)驗(yàn)時(shí)間的限制，每一個(gè)手勢(shì)命令中只對(duì)兩個(gè)出現(xiàn)頻率最高的手勢(shì)進(jìn)行了偏好、匹配度、困難度和易記憶性的主觀評(píng)分和專家分析。因此，這可能會(huì)導(dǎo)致一些有價(jià)值的手勢(shì)未來在評(píng)估中被遺漏。

4 結(jié)語(yǔ)

本文的目標(biāo)創(chuàng)建一套應(yīng)用在智能家居系統(tǒng)中并充分滿足老年人需求的三維手勢(shì)交互集，通過建立讓用戶參與手勢(shì)設(shè)計(jì)的實(shí)驗(yàn)，指導(dǎo)30名受試者針對(duì)40個(gè)種常見的人機(jī)交互任務(wù)開發(fā)手勢(shì)，并根據(jù)偏好度、困難度、匹配度和易記憶性四個(gè)方面進(jìn)行了李克特量表評(píng)分和后期專家研究，運(yùn)用上述方法得到了一組應(yīng)用于智能家居系統(tǒng)并適應(yīng)老年人用戶群體的三維任務(wù)手勢(shì)詞典。同時(shí)發(fā)現(xiàn)了用戶在手勢(shì)的創(chuàng)建中有偏向使用日常生活動(dòng)作、習(xí)慣雙手協(xié)同及少數(shù)用戶的手勢(shì)可能是更好的等三方面特征，為未來中國(guó)老年人運(yùn)用三維手勢(shì)交互使用智能產(chǎn)品提供了，更好進(jìn)行人機(jī)交互，更好的提升老年人HCI的滿意度。