翟 言,趙國英,黃心淵

(1.北京林業(yè)大學(xué)信息學(xué)院,北京100083;2.奧盧大學(xué)計算機科學(xué)與工程系,芬蘭奧盧90014;

3.中國傳媒大學(xué)動畫與數(shù)字藝術(shù)學(xué)院,北京100024)

體感交互在大型觸摸屏環(huán)境中的應(yīng)用與研究

翟 言1,2,趙國英2,黃心淵1,3

(1.北京林業(yè)大學(xué)信息學(xué)院,北京100083;2.奧盧大學(xué)計算機科學(xué)與工程系,芬蘭奧盧90014;

3.中國傳媒大學(xué)動畫與數(shù)字藝術(shù)學(xué)院,北京100024)

大型觸摸屏環(huán)境帶來高沉浸感的觸控體驗,然而當(dāng)用戶離大屏幕過近時體驗效果欠佳。為改善其交互體驗,引入體感交互技術(shù),基于用戶與屏幕的距離提出2種交互模式。通過設(shè)計并實現(xiàn)一套測試系統(tǒng),將體感交互技術(shù)應(yīng)用到大型觸摸屏環(huán)境中。利用該系統(tǒng)進行用戶測試,并對測試結(jié)果進行統(tǒng)計學(xué)分析。測試結(jié)果顯示,體感交互技術(shù)能有效減少大型觸摸屏環(huán)境體驗效果欠佳的局限性。體感交互技術(shù)與大型觸摸屏環(huán)境的結(jié)合有利于改善公共空間的交互體驗。

大屏幕;觸摸屏;人機交互;體感交互;動作識別;交互模式

1 概述

在觸摸屏技術(shù)日漸成熟的今天,越來越多的大型觸摸屏被用于公共交互空間［1］。這些大型觸摸屏環(huán)境在為用戶提供高沉浸感交互體驗的同時,也為人機交互帶來了一些問題。

當(dāng)用戶站在一個大型觸摸屏環(huán)境中(例如寬3.5 m,高2 m的觸摸屏)進行觸感交互時,通常難以看清整個屏幕的畫面,這對于三維視圖導(dǎo)航,系統(tǒng)菜單選擇等功能會造成不便。因為大型觸摸屏寬達數(shù)米,用戶在進行一些長距離的觸摸交互時(如將物件從屏幕一邊拖拽到另一邊),需要用戶有較大幅度的動作,甚至要求用戶來回走動,這也影響到用戶的交互體驗。由于屏幕過大,用戶可能需要舉起手臂或

掂起腳尖才能觸碰到屏幕的上半部分,一些年幼的兒童或使用輪椅的用戶甚至不能觸到特定位置因而無法進行交互。

大型觸摸屏環(huán)境現(xiàn)存的局限性主要來源于屏幕尺寸過大,而用戶離屏幕距離過近。所以本文嘗試以用戶與屏幕間的距離為切入點進行交互模式上的討論。

文獻［2］探討了隱式交互與顯式交互之間的關(guān)系,并根據(jù)用戶與屏幕間的距離劃分出4個交互空間。文獻［3］利用不同用戶離屏幕的遠(yuǎn)近關(guān)系,搭建了一個多用戶合作的交互空間。大型觸摸屏環(huán)境充分利用了用戶與屏幕的近距離交互空間,若能通過另外一種交互方式把遠(yuǎn)距離的交互空間也加以利用,將有可能減少大型觸摸屏環(huán)境的局限性。

體感交互技術(shù)通過識別人體動作實現(xiàn)對計算機的操作,消除了接觸式交互設(shè)備帶來的硬件隔閡。隨著近年來實時深度攝像機技術(shù)［4］與體感交互算法［5］的日漸成熟,體感交互技術(shù)在學(xué)術(shù)界引起了廣泛討論［6-7］并應(yīng)用在大型顯示系統(tǒng)中［8］。在大型觸摸屏環(huán)境中引入體感交互技術(shù),有利于對用戶與屏幕的遠(yuǎn)距離交互空間進行利用。文獻［9］結(jié)合觸摸屏與體感交互技術(shù),然而只選用了普通尺寸的觸摸屏,并未討論大型觸摸屏環(huán)境所產(chǎn)生的問題及解決方法。文獻［10］針對大屏幕中的人體檢測與跟蹤,對雙目視覺定位、手勢識別等問題進行了研究;文獻［11］通過改進手勢識別算法來優(yōu)化用戶在大觸摸屏上的選擇方式,但都沒有討論屏幕與用戶間相對距離所產(chǎn)生的問題。

本文分析大型觸摸屏環(huán)境中的局限性,利用體感交互技術(shù)來解決這些問題?；谟脩襞c觸摸屏的距離,提出2種交互模式以改善用戶在大型觸摸屏環(huán)境下的交互體驗。通過設(shè)計并實現(xiàn)一個測試系統(tǒng),將體感交互與大型觸摸屏相結(jié)合。

2 基于距離的2種交互模式

以一個三維地圖應(yīng)用程序為切入點,基于用戶與屏幕間的距離設(shè)計出2種交互模式,如圖1所示。

圖1 基于屏幕與用戶間距離的2個交互模式

2.1 遠(yuǎn)距離模式

遠(yuǎn)距離模式通過Kinect傳感器識別用戶的動作,從而實現(xiàn)體感交互。用戶在進行體感交互時需要跟屏幕保持一定距離,因此,能對整個屏幕畫面有更清楚的概觀,有利于用戶導(dǎo)覽視圖以及選擇菜單等。通過直觀地移動手臂,用戶即可選擇屏幕任意地方的圖標(biāo)或按鈕,也能輕松地將物件拖拽到屏幕的任意地方。另外,通過體感交互技術(shù),年幼的兒童或使用輪椅的用戶也能輕易地使用系統(tǒng)。遠(yuǎn)距離模式的主要功能及實現(xiàn)方式如下:

(1)三維視圖導(dǎo)航

一般而言,視圖導(dǎo)航是用戶進入三維地圖服務(wù)后首先使用的功能。因此,系統(tǒng)通過揮手(正如向系統(tǒng)打招呼)的手勢來激活三維視圖導(dǎo)航功能。一旦用戶對系統(tǒng)揮手后,系統(tǒng)便會追蹤用戶的手掌心。隨著用戶掌心上下/左右移動,三維視圖的畫面會相應(yīng)垂直/水平地平移。同時,掌心的前移或后拉可對視圖進行放大或縮小。

(2)菜單選擇

屏幕的邊緣設(shè)置了系統(tǒng)功能菜單(如搜索、分類、幫助、選項等)。用戶通過抓的手勢可以讓屏幕上的鼠標(biāo)跟隨手勢移動,從而輕松地選擇屏幕上不同地方的菜單。因為用戶進行體感交互時離屏幕有一定距離,所以能清晰了解整個系統(tǒng)菜單,從而容易地實現(xiàn)想要的功能。

(3)拖拽物件

當(dāng)用戶需要拖拽物體時(如將商品拖入購物車),可通過體感交互控制鼠標(biāo)停留在物件圖標(biāo)上把物件抓起,再移動手臂將物件放置在目標(biāo)位置。在大型觸摸屏環(huán)境中,通過觸感交互將物件從屏幕一方拖拽至另一方,不但增加了用戶的動作,還可能因為用戶無法看到系統(tǒng)概況而導(dǎo)致操作失誤。體感交互方式對此類情況提供了一個有效的解決方案。

(4)輔助特殊用戶

在大型觸摸屏環(huán)境下,年幼的或使用輪椅的用戶可能無法觸及屏幕的上半部分而無法進行交互。然而通過體感交互技術(shù),這些特殊用戶只需輕松地舉起手臂選擇輔助模式進行交互。在輔助模式下,用戶可以通過手臂動作實現(xiàn)系統(tǒng)的所有功能而無需再觸摸屏幕。

2.2 近距離模式

近距離模式利用觸感交互實現(xiàn)一些需要用戶精準(zhǔn)操作或仔細(xì)閱讀的功能,如:點擊屏幕上跳出的窗口及按鈕;輸入關(guān)鍵字句,發(fā)表評論信息;短距離的拖拽(如控制彈出窗口的滾動條)等。

這2種交互模式并沒有一條特定距離的邊界,只要用戶的動作被Kinect識別,遠(yuǎn)距離模式便會被

激活。因為Kinect的有效識別范圍大概為1.2 m～3.5 m,當(dāng)用戶在進行遠(yuǎn)距離模式下交互時,不會誤觸到觸摸屏;用戶在近距離模式中進行觸摸交互時也不會被Kinect識別。當(dāng)用戶完成遠(yuǎn)距離模式的交互之后,可走近屏幕通過觸摸屏進行進一步的交互。完成近距離觸感交互后,用戶也能退回到遠(yuǎn)距離模式中繼續(xù)進行體感交互。

3 測試系統(tǒng)的實現(xiàn)

3.1 系統(tǒng)框架設(shè)計

測試系統(tǒng)嘗試將上述2種交互模式結(jié)合于大型觸摸屏環(huán)境中。如圖2所示,測試系統(tǒng)的頂層功能分為體感交互功能與觸感交互功能,分別實現(xiàn)遠(yuǎn)距離與近距離模式。在軟件層級上,通過體感交互開發(fā)平臺OpenNI與其中間插件NITE接收Kinect獲得的人體動作數(shù)據(jù);基于TUIO協(xié)議,可獲取大型觸摸屏上的手勢信息;最后,將人體動作數(shù)據(jù)與觸摸屏手勢信息輸入到開源虛擬現(xiàn)實開發(fā)平臺RealXtend Tundra SDK［12］上,搭建三維地圖應(yīng)用程序,實現(xiàn)測試系統(tǒng)。

圖2 測試系統(tǒng)框架

測試系統(tǒng)的硬件層級由6塊55英寸MultiTaction觸摸屏以3×2的陣列所構(gòu)成,總寬度為3.73 m,屏幕高度為1.43 m,如圖3所示。整塊屏幕放置于一個0.75 m高的鋼鐵支架上,連接著一臺高性能的電腦主機(處理器:Intel i7-3770 CPU 3.40 GHz;內(nèi)存:16 GB;圖形顯卡:GeForce GTX 670 2 GB×3)。另外,一臺微軟Kinect傳感器被固定在支架與觸摸屏之間。

圖3 測試系統(tǒng)硬件

3.2 動作識別

OpenNI通過應(yīng)用程序接口提供了人體骨骼數(shù)據(jù),并以15個關(guān)節(jié)節(jié)點描繪出人體骨骼。利用這些節(jié)點數(shù)據(jù)可對用戶的特定動作進行識別,從而實現(xiàn)相應(yīng)的功能。

人體的姿勢可以通過關(guān)節(jié)的張合程度來定義。某個關(guān)節(jié)相對于另一關(guān)節(jié)的位置與角度是影響用戶姿勢識別的關(guān)鍵參數(shù)。任何3個關(guān)節(jié)點可組成一個三角形,使用簡單的幾何模型便可以計算出它們之間構(gòu)成的角度。知道每個節(jié)點的坐標(biāo)可以計算每個邊長的值,然后使用余弦定理獲得邊與邊之間的角度。利用肱二頭肌姿勢作為例子,如圖4所示,可以演示如何使用節(jié)點三角形方法來識別姿勢。

圖4 通過節(jié)點三角形計算關(guān)節(jié)角度

在圖4中,組成三角形的3個關(guān)節(jié)點為:手腕,肘部,肩膀。根據(jù)這3個關(guān)節(jié)點的坐標(biāo)可計算出3個角度。有2種使用節(jié)點三角形的方法。第1種是如上述方法使用3個節(jié)點來構(gòu)造一個三角形;另一個方法就是使用2個節(jié)點,第3個節(jié)點為另外指定的一點。不同方法取決于姿勢的限制和復(fù)雜度。上述例子使用的是3個節(jié)點的方法,因為所需要的角度是由手腕、肘和肩部構(gòu)成,不論其他部位如何變化,這3點所成的角度是相對不變的。

對于某個動作(如揮手),可以根據(jù)肘關(guān)節(jié)與掌心節(jié)點所構(gòu)成的角度來判斷該動作是否被完成,如圖5所示。

圖5 揮手動作的識別

然而,對于這個角度判定并非精準(zhǔn)的,因為無法確定多大的角度才能被定義為揮手。解決此問題可通過設(shè)定一個閾值范圍,若關(guān)節(jié)點移動滿足特定閾值范圍時,便可認(rèn)為用戶做出了該姿勢。

揮手動作識別核心算法流程如下。首先將當(dāng)前節(jié)點存入到節(jié)點點集,并記錄下掌心節(jié)點初始位置。判斷當(dāng)前掌心節(jié)點是否偏離Y軸過遠(yuǎn),若是便拋出節(jié)點出界事件以判斷手勢超出范圍。確定手勢在偵測范圍后,記錄手勢開始時間與當(dāng)前時間。若時間差大于特定閾值,拋出動作超時事件,移除該掌心節(jié)點。最后,判斷手勢的起始位置與當(dāng)前位置在X軸上的距離是否超過了設(shè)定的閾值,若超過便拋出揮手動作被識別事件,判定揮手動作被成功識別;若沒有,將等待新的掌心點數(shù)據(jù)輸入,進行下一次判斷。以下為實現(xiàn)揮手動作識別功能的偽代碼:

通過類似的動作識別算法,可以利用骨骼節(jié)點判斷不同的動作,進而實現(xiàn)測試系統(tǒng)中的不同功能。如:通過判斷掌心關(guān)節(jié)與手臂關(guān)節(jié)所成的角度,可實現(xiàn)三維視圖導(dǎo)航功能;通過識別掌心向前推的動作,可實現(xiàn)菜單選擇功能等。

4 用戶測試

用戶測試邀請了14名測試者參加(8男6女, 10人年齡在30歲～34歲,4人年齡在35歲～39歲)。測試者需要分別通過觸感交互和體感交互在測試系統(tǒng)中完成以下任務(wù):點擊屏幕熱點,三維視圖導(dǎo)航,選擇系統(tǒng)功能菜單,拖拽物件,點擊屏幕上半部分按鈕,坐在輪椅上進行交互。每項任務(wù)完成后,用戶都需要分別對觸感交互與體感交互進行評分。最后,測試者會被要求分別對觸感交互與體感交互的控制感、自然度、趣味性分別進行評分。

4.1 測試結(jié)果

由于測試要求同一批測試者分別對2種交互方式進行評分(5分為最高,1分為最低),即觀察值成配對關(guān)系,因此本測試在進行統(tǒng)計分析時選用了配對樣本T檢驗,獲得了以下的結(jié)果,如表1所示,其中,A為觸感交互,B為體感交互。

表1 2種交互方式在不同任務(wù)中得分的T檢驗結(jié)果

表1中的T檢驗結(jié)果顯示,在點擊屏幕熱點任務(wù)中,觸感交互與體感交互的得分不具有顯著性差異(T=1.332,P=0.104 9＞0.05)。在三維視圖導(dǎo)航(T=-2.345,P=0.019 4＜0.05)和選擇系統(tǒng)功能菜單任務(wù)(T=-2.000,P=0.035 4＜0.05)中,觸感交互與體感交互的得分具有顯著性差異,表明體感交互很可能在這2項任務(wù)中獲得更高分?jǐn)?shù)。在拖拽物件(T=-4.324),點擊屏幕上半部分(T= -2.872),坐在輪椅上交互(T=-13.675)的任務(wù)中,得分結(jié)果具有極顯著差異(P＜0.001),顯示體感交互極可能在這3項任務(wù)中獲得更高分?jǐn)?shù)。另外,對于拖拽物件和模仿特殊用戶交互任務(wù)上,2種交互方式得分的均值與T值絕對值的差異都比較大,顯示出體感交互在這2項任務(wù)中的得分可能大大高于觸感交互。

對于觸感交互與體感交互的控制感、自然度、趣味性的得分（5分為最高，1分為最低），同樣也通過配對樣本T檢驗，獲得了以下的結(jié)果，如表2所示。

表2 2種交互方式在不同參數(shù)中得分的T檢驗結(jié)果

表2的結(jié)果顯示，2種交互方式在控制感的得分上具有顯著性差異（T=3.6 3 3，P=0.0 0 20＜0.0 5），顯示觸感交互很有可能在控制感上獲得更高分?jǐn)?shù)。對于交互方式的自然度，觸感交互與體感交互的得分并不具有顯著性差異（P＞0.0 5）。而在趣味性上，兩者得分具有顯著性差異（T=-2.3 9 9，P= 0.0 1 76＜0.0 5），顯示體感交互在趣味性上的得分很可能高于觸感交互。

4.2 結(jié)果分析與討論

根據(jù)上述用戶測試結(jié)果，可認(rèn)為在大型觸摸屏環(huán)境中實現(xiàn)三維視圖導(dǎo)航與菜單選擇功能，體感交互相比觸感交互具有一定的改進意義。而在拖拽物件以及輔助特殊用戶的功能上，體感交互更顯示出明顯的優(yōu)勢。在點擊交互熱點的任務(wù)中，體感交互與觸感交互并未在得分上顯示出顯著差異，但對于點擊屏幕上半部分的測試，體感交互卻顯示出非常明顯的優(yōu)勢。以上結(jié)果證明，對于屏幕過大所產(chǎn)生的無法看清全局畫面、無法觸及特定位置等問題，體感交互技術(shù)提供了一個有效的解決方案。

另外，測試顯示體感交互在控制感上的得分不如觸感交互，原因可能來自目前體感交互技術(shù)還不夠成熟，以及測試系統(tǒng)的魯棒性不足，證明體感交互技術(shù)要真正應(yīng)用于大型觸摸屏環(huán)境中還需要繼續(xù)深入研究與實踐。在自然度上，2種交互方式的均分都較高且沒有顯示出明顯差異，證明2種交互方式的自然度都能使用戶滿意。在趣味性上，體感交互的得分明顯地高于觸感交互。作為新興的人機交互方式，體感交互技術(shù)可引起用戶的興趣，有利于大型觸摸屏在公共交互空間中傳播信息。

5 結(jié)束語

本文論述了大型觸摸屏環(huán)境下現(xiàn)存的局限性主要來源于用戶離大屏幕過近以及屏幕尺寸過大，導(dǎo)致無法看清全局畫面、無法觸及特定位置等問題。通過對交互空間的研究，基于用戶與屏幕的距離提出了2種交互模式。為了對2種交互模式作進一步探討，本文設(shè)計并實現(xiàn)了一個三維地圖應(yīng)用程序，以結(jié)合體感交互技術(shù)與大型觸摸屏環(huán)境，并以此進行了用戶測試。經(jīng)過統(tǒng)計學(xué)分析后的測試結(jié)果顯示，體感交互技術(shù)有利于減少大型觸摸屏環(huán)境的局限性，特別在三維視圖導(dǎo)航、系統(tǒng)功能菜單選擇、拖拽物件、輔助特殊用戶等功能上有明顯的優(yōu)勢。研究結(jié)果表明，體感交互技術(shù)與大型觸摸屏環(huán)境的結(jié)合有利于改善公共空間的交互體驗，具有一定研究意義與實踐價值。

［1]Hinrichs U，Carpendale S，Valkanova N，et al．Interactive Public Disp lays［J］．Com puter G raphics and Applications，2013，33（2）：25-27．

［2]Vogel D，Balakrishnan R．Interactive Public Am bient Displays：Transitioning from Im plicit to Explicit，Public to Personal，Interaction w ith M ultiple Users［C］// Proceedings o f the 17th Annual ACM Sym posium on User Interface Software and Technology．New York，USA：ACM Press，2004．

［3]Haw key K，Kellar M，Reilly D，et al．The Proxim ity Factor：Im pact of Distance on Co-located Collaboration［C］//Proceedings of International ACM SIGGROUP Conference on Supporting Group W ork．New York，USA：ACM Press，2005．

［4]Freedm an B，Shpunt A，M achline M，et al．Depth M apping Using Projected Patterns：USA，US20100118123 A1［P］．2010-05-13．

［5]Shotton J，Sharp T，Kipman A，et al．Real-time Human Pose Recognition in Parts from Single Depth Images［J］．Comm unications of the ACM，2013，56（1）：116-124．

［6]林 鵬，張 超，李竹良，等．基于深度圖像學(xué)習(xí)的人體部位識別［J］．計算機工程，2012，38（16）：185-188．

［7]曹雛清，李瑞峰，趙立軍．基于深度圖像技術(shù)的手勢識別方法［J］．計算機工程，2012，38（8）：16-18．

［8]Ren Gang，Li Chuan，O’Neill E，et al．3D Freehand Gestural Navigation for Interactive Public Displays［J］．IEEE Com puter Graphics and Applications，2013，33（2）：47-55．

［9]Bragdon A，Deline R，H inckley K，et al．Code Space：Touch＋Air Gesture Hybrid Interactions for Supporting Developer Meetings［C］//Proceedings of ITS．New York，USA：ACM Press，2011．

［10]郭 星．大屏幕人機互動中若干關(guān)鍵技術(shù)研究［D］．合肥：安徽大學(xué)，2013．

［11]高 洋．大觸摸屏上目標(biāo)選擇技術(shù)研究與設(shè)計［D］．長春：吉林大學(xué)，2013．

［12]A latalo T．An Entity-com ponent M odel for Extensible VirtualW orlds［J］．Internet Computing，2011，15（5）：30-37．

編輯 顧逸斐

Application and Research on Somatosensory Interaction in Large Touchscreen Envirnoment

ZHAI Yan1,2,ZHAO Guoying2,HUANG Xinyuan1,3
(1.School of Information Science and Technology,Beijing Forestry University,Beijing 100083,China;
2.Department of Computer Science and Engineering,University of Oulu,Oulu 90014,Finland;
3.School of Animation and Digital Arts,Communication University of China,Beijing 100024,China)

While enhancing the immersion of touch-based interaction,large touchscreen yet shows some limitations due to the short distance between user and the large screen.In order to improve user experience,this paper tries to combine gesture interaction and large touchscreen with two interaction modes based on the distance between user and screen.A survey is performed through a test system which combines both gesture interaction and large touchscreen technology.Statistical results indicate that gesture interaction is beneficial to large touchscreen display,which proves the practical value and research significance of this study.

large screen;touchscreen;human computer interaction;somatosensory interaction;gesture recognition; interaction mode

翟 言,趙國英,黃心淵.體感交互在大型觸摸屏環(huán)境中的應(yīng)用與研究［J］.計算機工程,2015, 41(3):317-321.

英文引用格式:Zhai Yan,Zhao Guoying,Huang Xinyuan.Application and Research on Somatosensory Interaction in Large Touchscreen Envirnoment［J］.Computer Engineering,2015,41(3):317-321.

1000-3428(2015)03-0317-05

:A

:TP18

10.3969/j.issn.1000-3428.2015.03.060

北京市科技專項基金資助項目“數(shù)字動畫創(chuàng)作支撐平臺的研究與實踐”;芬蘭科學(xué)院基金資助項目(251286);芬蘭FiDiPro基金資助項目(40093/12)。

翟 言(1988-),男,碩士研究生,主研方向:人機交互,虛擬現(xiàn)實;趙國英,副教授、博士;黃心淵(通訊作者),教授、博士。

2014-04-14

:2014-05-20E-mail:yan_chuck@hotmail.com