高陽(yáng)，殷繼彬

?

基于“Pen + Touch”輸入模態(tài)的三維桌面系統(tǒng)的設(shè)計(jì)與研究

高陽(yáng)，殷繼彬

摘 要：隨著自然交互技術(shù)的發(fā)展，多點(diǎn)觸空等新型交互方式不斷涌現(xiàn)?！肮P+觸控（pen+touch）”交互符合用戶自然直觀的交互特點(diǎn)，得到更多研究者的重視。傳統(tǒng)的GUI桌面系統(tǒng)是基于鼠標(biāo)和鍵盤而設(shè)計(jì)，在很多方面并不適合筆和觸控自然交互設(shè)備，并且在操作上和視覺(jué)上與真實(shí)的桌面操作迥異。因此提出了基于“Pen + Touch”輸入模態(tài)的三維桌面系統(tǒng)，為桌面操作賦予了更多的自然物理屬性如質(zhì)量、維度、重力等，并設(shè)計(jì)了一些交互技術(shù)能夠?qū)崿F(xiàn)目標(biāo)的隨意拖動(dòng)、縮放、旋轉(zhuǎn)、歸整等效果。針對(duì)三維桌面系統(tǒng)的可操作性，進(jìn)行了用戶實(shí)驗(yàn)，結(jié)果表明該系統(tǒng)的操作性更真實(shí)、自然。

關(guān)鍵詞：三維桌面系統(tǒng)；筆式輸入；觸控輸入

殷繼彬（1966-），男，昆明理工大學(xué)，計(jì)算機(jī)重點(diǎn)實(shí)驗(yàn)室，副教授，碩士生導(dǎo)師，研究方向：人機(jī)交互，昆明，650500

0 引言

人機(jī)交互技術(shù)的發(fā)展使得自然直觀的交互方式越來(lái)越受到廣大用戶的青睞，特別是多點(diǎn)觸控技術(shù)已變得非常成熟。筆+觸控的交互模式源于對(duì)“人們單手執(zhí)筆，雙手配合在書本上完成勾勒、注釋等任務(wù)”的抽象，因其自然、直觀和高效的特點(diǎn)已成為了研究的重點(diǎn)。筆的輸入精度高，常用來(lái)寫、繪制線條，觸控只需使用赤裸的手即可完成交互任務(wù)，但是存在肥手指問(wèn)題。筆+觸控交互結(jié)合筆交互和觸控交互的優(yōu)勢(shì)，彌補(bǔ)了筆交互和觸控交互單獨(dú)設(shè)計(jì)時(shí)存在的缺陷，豐富了界面設(shè)計(jì)的交互屬性，隨著硬件設(shè)備的發(fā)展以及對(duì)筆和觸控很好的支持，筆+觸控技術(shù)被認(rèn)為是很有前景的交互方式。基于鍵盤和鼠標(biāo)輸入的GUI桌面系統(tǒng)如圖1所示：

圖1?。╝）傳統(tǒng)的GUI桌面.（b）真實(shí)的桌面. （c）三維桌面系統(tǒng)

Windows桌面如圖1（a）因其局限性已不再適合筆和觸控交互的設(shè)備，另外這種傳統(tǒng)的桌面系統(tǒng)局限于一個(gè)二維空間，桌面采用嚴(yán)格的層次結(jié)構(gòu)進(jìn)行文檔布局并且其操作方式已不再符合NUI(自然交互界面)的理念。在真實(shí)的桌面中，我們經(jīng)?？吹皆S多文檔散亂地堆疊在一起或者按照一定的順序整齊的排列如圖1（b），而且我們常使用雙手進(jìn)行文檔操作，傳統(tǒng)的GUI界面在視覺(jué)上和操作上都無(wú)法實(shí)現(xiàn)這種真實(shí)的效果。因此我們提出了基于“Pen + Touch”輸入模態(tài)的三維桌面系統(tǒng)如圖1（c）。

在該系統(tǒng)中，桌面被賦予一些自然的物理屬性，這些物理屬性可以使該桌面達(dá)到真實(shí)桌面的效果。在操作桌面文檔時(shí)，我們能真實(shí)的感受到這些物理效應(yīng)，就像我們操作真實(shí)的文檔一樣。另外我們研究筆和觸控的輸入特性并結(jié)合人們使用雙手操作的習(xí)慣設(shè)計(jì)了一些自然高效的交互技術(shù)對(duì)文檔進(jìn)行選擇、移動(dòng)、復(fù)制、刪除、縮放、縮放、歸整和排列等操作。

1 相關(guān)研究

Anand Agarawala[1]等人關(guān)于桌面系統(tǒng)的研究提出一種桌面隱喻：Pile、Physics和Pen。在他們的研究中，桌面被賦予了一些自然的物理屬性，而且桌面文檔的操作會(huì)受到物理特性的影響；文檔采用Pile而非File的形式進(jìn)行有效的統(tǒng)一的組織。另外，他們?cè)O(shè)計(jì)基于筆輸入的交互技術(shù)對(duì)文檔進(jìn)行選擇、移動(dòng)、預(yù)覽以及Pile的創(chuàng)建操作。這種設(shè)計(jì)很好的模擬了真實(shí)桌面的操作行為，我們也借鑒了一些可行性的設(shè)計(jì)運(yùn)用到我們的桌面系統(tǒng)中并進(jìn)行了創(chuàng)新設(shè)計(jì)。

移動(dòng)設(shè)備的出現(xiàn)使用戶可以與設(shè)備進(jìn)行直接的交互。在當(dāng)今的移動(dòng)設(shè)備中，多點(diǎn)觸控技術(shù)已變得非常成熟并且已經(jīng)得到了廣泛的應(yīng)用，例如：一根手指的平移，兩根手指擠壓，4根手指的滑動(dòng)等。Chris Harrison[2]等人通過(guò)觀察人們?cè)诂F(xiàn)實(shí)世界中使用物理工具的行為提出了一些豐富的觸控手勢(shì)。在之前的研究中，研究者總是把筆和觸控分離開來(lái)進(jìn)行研究。最近幾年，隨著硬件設(shè)備對(duì)筆和觸控很好的支持，例如：iPad，以及筆+觸控交互自然直觀的特點(diǎn)，研究者開始對(duì)筆+觸控交互進(jìn)行探索研究，并證明了筆+觸控交互可以產(chǎn)生更加豐富的交互技術(shù)同時(shí)也使操作變得更加自然、高效。Ken Hinckley等人[3-4]通過(guò)觀察人們使用筆記本和紙張的手工操作行為設(shè)計(jì)了一個(gè)以記錄和剪切簿為中心的Microsoft surface應(yīng)用程序模型。根據(jù)他們的研究，筆和觸控進(jìn)行了明確的勞動(dòng)分工，慣用手持筆書寫，雙手配合進(jìn)行操作，筆和觸控產(chǎn)生新的交互行為。例如：筆可以當(dāng)做刀子用來(lái)切割圖片；筆和觸控配合操作進(jìn)行圖片的復(fù)制等。Mathias Frisch等人[5]關(guān)于筆+觸控對(duì)圖表編輯的有效性進(jìn)行了研究，他們通過(guò)記錄和分析參與者使用自然的手勢(shì)完成給定的14個(gè)任務(wù)的操作行為得出筆+觸控交互對(duì)于圖表的編輯是非常有前途的。Fabrice Matulic[6]等人設(shè)計(jì)了一個(gè)基于筆+觸控交互的并且能夠支持文檔創(chuàng)建活動(dòng)的數(shù)字桌面系統(tǒng)模型。所有的這些研究都表明筆+觸控交互所帶來(lái)的有效性和自然性。研究者已經(jīng)對(duì)筆+觸控交互和三維桌面設(shè)計(jì)進(jìn)行了相關(guān)的研究，我們?cè)谇叭搜芯康幕A(chǔ)上繼續(xù)創(chuàng)新并設(shè)計(jì)基于“Pen + Touch”輸入模態(tài)的三維桌面系統(tǒng)。

2 設(shè)計(jì)目標(biāo)

在此3D桌面系統(tǒng)設(shè)計(jì)中，為了更好的表現(xiàn)其交互性和真實(shí)性，我們實(shí)現(xiàn)以下3個(gè)設(shè)計(jì)目標(biāo)：

2.1 真實(shí)的感覺(jué)

桌面的操作空間從2D擴(kuò)展到了3D，并且桌面圖標(biāo)采用立體的形式展示，這在視覺(jué)上給用戶一種真實(shí)感。桌面文檔與真實(shí)的文檔具有一樣的屬性，當(dāng)操作此3D桌面上的文檔時(shí)如同操作真實(shí)的文檔一樣。通過(guò)對(duì)桌面的嘗試性操作，用戶可以感知桌面上的文檔受重力和摩擦力的作用；對(duì)象之間可以發(fā)生碰撞、反彈；對(duì)象可以隨意移動(dòng)并相互堆積。當(dāng)然，用戶也可以像貼便利貼一樣使對(duì)象吸附在墻壁上（圖1 c）。

2.2 Pen + Touch交互

我們把“Pen + Touch”交互作為主要的交互方式，并且結(jié)合人們?cè)诂F(xiàn)實(shí)中使用雙手操作文檔的行為設(shè)計(jì)一些新穎交互技術(shù)操作文檔。我們致力于研究文檔的選擇、移動(dòng)、復(fù)制、刪除、歸整等交互技術(shù)。同時(shí)避免那些有歧義性的交互設(shè)計(jì)。

2.3 自然性、易學(xué)性

我們把用戶已熟知的觸控技術(shù)加入到設(shè)計(jì)中，例如：點(diǎn)擊、滑動(dòng)、長(zhǎng)按等手勢(shì)，并設(shè)計(jì)符合人們操作習(xí)慣（慣用手持筆，非慣用手進(jìn)行觸控操作，慣用手與非慣用手相互配合操作）的交互技術(shù)。我們避免設(shè)計(jì)復(fù)雜的交互手勢(shì)，從而減輕用戶的認(rèn)知和記憶負(fù)擔(dān)，同時(shí)我們采用了適當(dāng)?shù)囊曈X(jué)提示使交互更易操作。這樣可以使用戶很快的從一個(gè)新手變成一個(gè)熟練操作者。

3 3D桌面原型設(shè)計(jì)

3.1 視角設(shè)計(jì)

桌面由三面墻壁圍繞而成（圖1 c），這樣就形成了一個(gè)3D的空間視角，并且墻壁也限定了文檔的可操作范圍。桌面的一端被抬起30度使桌面呈現(xiàn)出一定的傾斜度，這樣用戶就可以以俯視的視角觀察桌面的每一個(gè)角落以及桌面上所有的文檔。當(dāng)用戶進(jìn)行桌面操作時(shí)就如同在一個(gè)真實(shí)的空間中操作真實(shí)文檔一樣。

3.2 文檔圖標(biāo)設(shè)計(jì)

桌面系統(tǒng)使用各個(gè)面被貼圖的長(zhǎng)方體圖標(biāo)來(lái)代替各種不同類型的文檔。圖標(biāo)主要采用多邊形建模技術(shù)和貼圖技術(shù)實(shí)現(xiàn)，無(wú)論桌面中的文檔以什么樣的形式存在，用戶總可以根據(jù)文檔每個(gè)面的貼圖對(duì)其類型進(jìn)行判定。桌面文檔并非采用嚴(yán)格的層次結(jié)構(gòu)進(jìn)行布局，而是以相對(duì)自由的方式散落在桌面上。

3.3 自然物理屬性

此3D桌面系統(tǒng)為桌面賦予了一些自然的物理屬性，如重力，質(zhì)量，摩擦力等，使桌面文檔與真實(shí)的文檔具有相同的特性。這些物理屬性采用物理引擎組件技術(shù)實(shí)現(xiàn)。當(dāng)操作文檔時(shí)，文檔會(huì)觸發(fā)一些物理效應(yīng)，例如：文檔受重力作用停留在桌面上；當(dāng)拖動(dòng)文檔撞擊其它文檔時(shí)彼此會(huì)產(chǎn)生彈力作用；文檔受慣性而運(yùn)動(dòng)，受摩擦力作用靜止。這些自然的物理屬性使此桌面系統(tǒng)比傳統(tǒng)的GUI桌面更具表現(xiàn)力，操作更靈活、更自然，同時(shí)也對(duì)文檔的運(yùn)動(dòng)產(chǎn)生積極的影響。

4 交互技術(shù)設(shè)計(jì)

筆+觸控交互是此桌面系統(tǒng)的主要交互方式。在這個(gè)桌面系統(tǒng)中，我們通過(guò)研究筆輸入、觸控輸入以及筆和觸控的同時(shí)輸入設(shè)計(jì)了一些自然、高效的交互技術(shù)。

4.1 文檔選擇技術(shù)

我們采用了兩種選擇技術(shù)對(duì)文檔進(jìn)行選取，即：區(qū)域選擇和線條選擇。這兩種選擇技術(shù)能夠根據(jù)用戶的意圖實(shí)現(xiàn)對(duì)任意文檔的選擇。

4.1.1 區(qū)域選擇技術(shù)

區(qū)域選擇技術(shù)主要采用掃描的原理實(shí)現(xiàn)。當(dāng)執(zhí)行此選擇時(shí)，筆和手指之間會(huì)形成一條無(wú)形的線段，這條線段的長(zhǎng)度和角度跟隨手指與筆之間的位置變化而改變，并且線段掃描到的區(qū)域內(nèi)的文檔會(huì)被選中。區(qū)域選擇技術(shù)實(shí)現(xiàn)了不規(guī)則區(qū)域內(nèi)文檔的選擇，與Peter Brandl[7]等人提出的矩形框選擇技術(shù)和多邊形選擇技術(shù)相比其選擇的自由度更靈活。另外，區(qū)域選擇技術(shù)使用筆和手指相互配合進(jìn)行操作，在操作的時(shí)間效率及便捷性上與Anand Agarawala[1]等人提出的套鎖選擇技術(shù)相比有很大改善。在此3D桌面模型中我們使用區(qū)域選擇技術(shù)對(duì)連續(xù)區(qū)域內(nèi)的文檔進(jìn)行選擇，如圖2所示：

圖2　GUI桌面系統(tǒng).

其操作如圖2（a）所示：首先，用戶使用一根手指長(zhǎng)按桌面的空白區(qū)域，然后使用筆在距離手指大于1cm的桌面空白位置1處圍繞手指移動(dòng)到位置2處。隨著筆的移動(dòng)，一個(gè)綠色的不規(guī)則的半透明區(qū)域就會(huì)顯示在桌面上，區(qū)域的大小和形狀會(huì)隨著筆的運(yùn)動(dòng)軌跡發(fā)生變化。當(dāng)選區(qū)繪制完畢，落在區(qū)域內(nèi)的文檔就會(huì)被選擇。

4.1.2 線條選擇技術(shù)

線條選擇技術(shù)是為了配合區(qū)域選擇技術(shù)進(jìn)行文檔的選擇，它主要用來(lái)選擇離散分布的文檔。線條選擇技術(shù)主要采用筆的運(yùn)動(dòng)軌跡原理，當(dāng)筆從文檔的一側(cè)劃上文檔本身并且從另一側(cè)劃出時(shí)，被劃過(guò)的文檔會(huì)被選擇。我們使用兩根手指和筆配合操作實(shí)現(xiàn)多個(gè)離散文檔的選擇。如圖2（b）所示：首先，用戶用兩根手指（手指之間的距離不超過(guò)1cm）按在桌面的空白區(qū)域，然后使筆在桌面上從位置1移動(dòng)到位置2，有3個(gè)文檔被筆的運(yùn)動(dòng)軌跡劃過(guò)，則這3個(gè)文檔會(huì)被選中。

4.2 新型3D軸形菜單技術(shù)與觸發(fā)機(jī)制

此桌面系統(tǒng)引入了3D軸形菜單技術(shù)，通過(guò)3D軸形菜單技術(shù)我們可以很方便地通過(guò)執(zhí)行相應(yīng)的菜單命令進(jìn)行文檔操作。3D軸形菜單分為主菜單和子菜單兩部分并且以滾動(dòng)的方式顯示菜單項(xiàng)，這種顯示方式使用戶的注意力完全集中于菜單本身，避免了用戶視線在菜單選項(xiàng)間來(lái)回轉(zhuǎn)移。對(duì)于菜單命令的執(zhí)行，用戶只需滑動(dòng)菜單點(diǎn)擊即可，這樣避免了筆或手指在桌面上的大幅度移動(dòng)，從而降低了用戶操作時(shí)的疲勞度。3D軸形菜單技術(shù)屏蔽了傳統(tǒng)菜單如條形菜單和下拉菜單操作上的缺點(diǎn)；而且3D菜單通過(guò)觸發(fā)顯示，這樣可以使用戶在操作時(shí)只關(guān)注任務(wù)本身。如圖3所示：

圖3　3D軸形菜單

用戶只需按照箭頭方向滾動(dòng)菜單便可進(jìn)行菜單項(xiàng)預(yù)覽，通過(guò)點(diǎn)擊執(zhí)行菜單命令。

對(duì)于菜單的觸發(fā)，我們采用了視覺(jué)圖標(biāo)提示機(jī)制。通過(guò)視覺(jué)圖標(biāo)的自動(dòng)顯示提示用戶是否觸發(fā)菜單，用戶只需點(diǎn)擊提示圖標(biāo)就可以實(shí)現(xiàn)菜單的觸發(fā)。如圖4所示：

圖4　菜單觸發(fā)操作

文檔選擇完畢（這里我們使用區(qū)域選擇技術(shù)），當(dāng)筆從桌面上抬起且手指依然停留在桌面上時(shí)，在手指的右側(cè)會(huì)彈出一個(gè)圓形的提示圖標(biāo)（圖4 a），圖標(biāo)會(huì)跟隨手指移動(dòng)并在手指離開桌面時(shí)消失。當(dāng)我們用筆點(diǎn)擊圖標(biāo)時(shí)（圖4 b），就會(huì)彈出一個(gè)3D軸形菜單（圖4 c），當(dāng)我們?cè)俅吸c(diǎn)擊圖標(biāo)時(shí)，菜單會(huì)消失。

4.3 文檔的移動(dòng)技術(shù)

文檔采用拖拽的方式跟隨手指或筆進(jìn)行移動(dòng)。如何判斷所觸摸到的文檔，我們使用了射線碰撞的原理：從手指和筆觸碰到的屏幕位置向三維空間投射一條射線，射線碰撞到的文檔圖標(biāo)即為該手指或筆觸摸的文檔。對(duì)于文檔的移動(dòng)，我們采用多點(diǎn)操作的方式，使手指和筆可以同時(shí)移動(dòng)文檔。4.3.1 單一文檔移動(dòng)

用戶可以使用筆拖動(dòng)某一個(gè)文檔移動(dòng)，如圖4a所示：筆拖動(dòng)一個(gè)文檔沿著箭頭所示方向從位置1移動(dòng)到位置2。當(dāng)然也可以使用手指進(jìn)行拖動(dòng)。

4.3.2 多文檔移動(dòng)

多文檔移動(dòng)采用多點(diǎn)觸控和筆配合操作方式同時(shí)控制多個(gè)文檔的移動(dòng)，如圖5所示：

圖5　文檔的移動(dòng)

如圖5（b）所示：同時(shí)使用筆和手指分別拖動(dòng)兩個(gè)不同的文檔分別沿著箭頭①和箭頭②的方向移動(dòng)。當(dāng)然我們還可以增加手指的數(shù)量（3-5個(gè)）同時(shí)控制更多的文檔在桌面上移動(dòng)。

4.3.3 組文檔移動(dòng)

我們使用選擇技術(shù)使文檔成為一組，被選中的文檔之間通過(guò)Hinge Joint（鏈條關(guān)節(jié)，這種關(guān)節(jié)是看不見的并且在多個(gè)文檔被選中時(shí)創(chuàng)建，取消選擇時(shí)銷毀）進(jìn)行首尾相連成為一組。我們只需拖動(dòng)其中的任意一個(gè)文檔即可使此組文檔進(jìn)行整體移動(dòng)。如圖5（c）所示：使用筆拖動(dòng)此組文檔從位置1移動(dòng)到位置2。

4.4 文檔的縮放、旋轉(zhuǎn)技術(shù)

在此桌面系統(tǒng)中，我們根據(jù)筆與目標(biāo)文檔間的距離變化以及徑向滑動(dòng)方向設(shè)計(jì)文檔的縮放并根據(jù)筆圍繞文檔的轉(zhuǎn)動(dòng)方向旋轉(zhuǎn)文檔。為了避免縮放和旋轉(zhuǎn)的并發(fā)執(zhí)行，我們?cè)O(shè)置了區(qū)域限制，筆在距離目標(biāo)文檔2.5cm外的范圍內(nèi)滑動(dòng)執(zhí)行文檔縮放操作，在距離目標(biāo)文檔2.5cm內(nèi)的范圍內(nèi)轉(zhuǎn)動(dòng)執(zhí)行旋轉(zhuǎn)操作，如圖6所示：

如圖6（a）（b）所示：首先手指選中目標(biāo)文檔，筆（距離文檔中心2.5cm之外的范圍）沿著箭頭方向遠(yuǎn)離和靠近目標(biāo)文檔對(duì)其進(jìn)行縮放；如圖6（c）（d）所示：筆（距離文檔中心2.5cm的范圍內(nèi)）沿著箭頭方向轉(zhuǎn)動(dòng)對(duì)目標(biāo)文檔進(jìn)行旋轉(zhuǎn)。

4.5 文檔的復(fù)制、刪除技術(shù)

在此桌面系統(tǒng)中，我們使用預(yù)置的方法實(shí)現(xiàn)文檔的復(fù)制。預(yù)置即為把要復(fù)制的目標(biāo)文件預(yù)先在系統(tǒng)中生成一個(gè)副本，在執(zhí)行復(fù)制操作時(shí)就會(huì)在桌面上創(chuàng)建這個(gè)副本文件，如圖7所示：

圖7　文檔的復(fù)制和刪除操作

如圖7（a）（b）所示：使用筆長(zhǎng)按目標(biāo)文檔，然后使用一根手指按住桌面空白區(qū)域，筆沿著箭頭①移動(dòng)創(chuàng)建出副本1，當(dāng)筆繼續(xù)沿著箭頭②和箭頭③移動(dòng)分別創(chuàng)建出副本2和副本3，從而實(shí)現(xiàn)了文檔的多重復(fù)制。這種復(fù)制技術(shù)與Ken Hinckley[4]等人提出的從原始物體上拖拽復(fù)制的方法以及Mathias Frisch[8]等人提出的使用兩根手指同時(shí)按住原始物體，沿著筆的移動(dòng)軌跡復(fù)制的方法相比在操作和執(zhí)行效率上有了很大的改進(jìn)。

我們使用手指或筆拖動(dòng)文檔到桌的邊緣執(zhí)行刪除操作。刪除技術(shù)采用觸發(fā)器的原理并結(jié)合提示菜單實(shí)現(xiàn)。我們?cè)谧烂娴倪吘壴O(shè)置觸發(fā)器，當(dāng)文檔碰觸到觸發(fā)器時(shí)就會(huì)自動(dòng)彈出提示菜單，通過(guò)菜單可以執(zhí)行刪除操作。如圖7（c）（d）所示：使用筆拖動(dòng)一個(gè)文檔到桌面的邊緣處，這時(shí)會(huì)自動(dòng)彈出提示菜單，提醒用戶是否刪除。用戶使用筆點(diǎn)擊菜單選項(xiàng)，當(dāng)點(diǎn)擊Yes按鈕，物體會(huì)被刪除，當(dāng)點(diǎn)擊No按鈕，物體則會(huì)被彈離邊緣。這種刪除技術(shù)使文檔的刪除變得更加方便快捷，通過(guò)引入提示菜單避免了用戶誤刪除操作。相對(duì)于Mathias Frisch等人[5]提出使用筆或者手指拖動(dòng)圖表節(jié)點(diǎn)到屏幕的邊緣進(jìn)行刪除技術(shù)有很大改進(jìn)。

4.6 文檔的歸整與排列技術(shù)

我們使用Pile[1]作為文檔的歸整形態(tài)。Pile作為一種新型的文檔歸整形態(tài)已經(jīng)得到了研究者的認(rèn)可并且其布局方式相對(duì)于File更適合此3D桌面系統(tǒng)。Pile中的所有文檔都依照最底層的文檔（我們稱此文檔為Reference Document，簡(jiǎn)稱RD）進(jìn)行布局和排列。對(duì)于Pile的創(chuàng)建，首先我們使用兩根手指（手指間距S0＜2.5cm）跨越文檔的兩側(cè)，手指之間會(huì)產(chǎn)生一條無(wú)形的掃描線檢測(cè)是否有文檔存在（射線檢測(cè)原理），如過(guò)存在則記錄為RD；接著我們使用筆依次選擇其它文檔就可創(chuàng)建Pile，并且文檔依照被選擇的順序整齊有序的在Pile中排列。依據(jù)文檔存在的不同方式，我們?cè)O(shè)計(jì)3種交互方式對(duì)不同的文檔進(jìn)行歸整操作。

4.6.1 離散文檔歸整

使用筆依次點(diǎn)擊離散分布的文檔，文檔按照被點(diǎn)擊的順序依次放置在RD上，并且和RD保持相同的旋轉(zhuǎn)角度，最后被選中的文檔將會(huì)放置到Pile的到最上方，如圖8所示：

圖8　文檔的歸整操作

如圖8（a）（b）所示：首先選取RD，然后使用筆依次點(diǎn)擊文檔1、文檔2、文檔3和文檔4，最終所有文檔以Pile形態(tài)歸整在一起。

4.6.2 同類型文檔歸整

對(duì)于同一類型文檔，用戶只需使用筆點(diǎn)擊RD，當(dāng)筆抬起時(shí)，桌面上所有與RD類型相同的文檔依次排列在RD上方。如圖8（c）（d）所示：桌面中所有的QQ文檔以Pile的形態(tài)歸整在一起。

4.6.3 連續(xù)文檔歸整

對(duì)于連續(xù)區(qū)域內(nèi)文檔，我們結(jié)合了區(qū)域選擇技術(shù)進(jìn)行實(shí)現(xiàn)。如圖8（e）（f）所示，使用區(qū)域選擇技術(shù)選擇連續(xù)分布的文檔，當(dāng)筆抬起時(shí)，所有被選中的文檔以Pile的形態(tài)歸整在一起。

5 實(shí)現(xiàn)

這個(gè)桌面系統(tǒng)運(yùn)行在一個(gè)支持筆和觸控輸入的平板電腦上。整個(gè)桌面系統(tǒng)的設(shè)計(jì)借助Unity 3D來(lái)實(shí)現(xiàn)，交互設(shè)計(jì)采用C#語(yǔ)言進(jìn)行編程實(shí)現(xiàn)；桌面空間的搭建以及圖標(biāo)、菜單的制作主要通過(guò)3dMax建模完成；桌面文檔的物理屬性主要借助Unity 3D物理引擎實(shí)現(xiàn)。

6 用戶評(píng)估和結(jié)果

為了評(píng)估此3D桌面系統(tǒng)的可用性及操作的復(fù)雜性，我們進(jìn)行了用戶評(píng)估實(shí)驗(yàn)。我們邀請(qǐng)10個(gè)年齡在18-25歲之間的測(cè)試者（5名男士和5名女士，其中一人的慣用手為左手，剩余所有人的慣用手為右手，并且他們都具有熟練使用筆和操縱平板電腦的能力）進(jìn)行測(cè)試。

首先我們用5分鐘時(shí)間并且在沒(méi)有任何說(shuō)明的情況下讓測(cè)試者根據(jù)他們自己的經(jīng)驗(yàn)去操作這個(gè)桌面。我們通過(guò)觀察發(fā)現(xiàn)，大多數(shù)測(cè)試者很容易完成一些基本的操作，例如：對(duì)象選擇、移動(dòng)、縮放等。然后，我們用了10分鐘時(shí)間把測(cè)試者沒(méi)有發(fā)現(xiàn)的交互技術(shù)介紹給他們，并對(duì)整個(gè)桌面所有的交互技術(shù)進(jìn)行了詳細(xì)的介紹。最后讓每一個(gè)用戶分別完成給定的11個(gè)操作任務(wù)，如果有測(cè)試者在操作過(guò)程中忘記的某個(gè)任務(wù)的操作方式，他們可以詢問(wèn)工作人員后繼續(xù)完成后面的任務(wù)。當(dāng)每個(gè)測(cè)試者完成所有的任務(wù)后，我們分別記錄他們完成的時(shí)間并且讓他們填寫一份調(diào)查問(wèn)卷。

結(jié)果發(fā)現(xiàn)大部分測(cè)試者都能在很短的時(shí)間內(nèi)完成這些任務(wù)，操作方式越簡(jiǎn)單，就越容易完成。根據(jù)調(diào)查問(wèn)卷的統(tǒng)計(jì)顯示，90%的測(cè)試者認(rèn)為此桌面系統(tǒng)很容易操作并且非常喜歡這個(gè)桌面，20%的用戶表示操作存在復(fù)雜性，10%的用戶表示操作的流暢性不是很好。

7 總結(jié)

本文為桌面操作賦予了一些自然的物理屬性，同時(shí)把筆和觸控作為主要的交互方式設(shè)計(jì)并實(shí)現(xiàn)了基于Pen + Touch輸入模態(tài)的3D桌面原型系統(tǒng)，與傳統(tǒng)的桌面系統(tǒng)相比，此桌面系統(tǒng)更加真實(shí)、直觀。同時(shí)我們?cè)O(shè)計(jì)出的一些交互技術(shù)使桌面的操作變得高效、自然。未來(lái)，我們將進(jìn)一步研究此三維桌面系統(tǒng)的交互技術(shù)，主要研究文檔的預(yù)覽、排序、散開以及Pile的操作，使此桌面系統(tǒng)更加完善。

參考文獻(xiàn)

[1] Anand Agarawala, Ravin Balakrishnan. Keepin' It Real: Pushing the Desktop Metaphor with Physics Piles and the Pen[J]. CHI. 2006, 1283-1292.

[2] Chris Harrison, Robert Xiao, Julia Schwarz, Scott E. Hudson. Touch Tools: Leveraging Familiarity and Skill with Physical Tools to Augment Touch Interaction. [C]CHI. 2014, 2913-2916.

[3] Ken Hinckley, Koji Yatani, Michel Pahud, et al. Pen + Touch = New Tools.[J] UIST’10. 2010, 27-36.

[4] Ken Hinckley, Jenny Rodenhouse, Koji Yatani, et al. Manual Deskterity: An Exploration of Simultaneous Pen + Touch Direct Input.[C] CHI. 2010, 2793-2802.

[5] Mathias Frisch, Jens Heydekorn, Raimund Dachselt. Investigating Multi-Touch and Pen Gestures for Diagram Editing on Interactive Surfaces.[J] ITS '09. 2009, 149-156.

[6] Fabrice Matulic, Moira C. Norrie, Heiko Schuldt, et al. Gesture-Supported Document Creation on Pen and Touch Tabletops.[J]CHI.2013, 101-106.

[7] Peter Brandl, Clifton Forlines, Daniel Wigdor, Michael Haller, et al. Combining and Measuring the Benefits of Bimanual Pen and Direct-Touch Interaction on Horizontal Interfaces,[J] ACM, 2008, 154-161.

[8] Mathias Frisch, Ricardo Langner, Raimund Dachselt. NEAT: A Set of Flexible Tools and Gestures for Layout Tasks on Interactive Displays. [J].ITS'11 2011, 1-10.

Design of 3D Desktop Interface Based on Pen + Touch Input Modalities

GaoYang, Yin Jibin
(The Key Laboratory of Computer, Kunming University of Science and Technology, Kunming 650500, China)

Abstract:With the development of natural interaction technique, the new interaction modes such as multitouch emerge constantly. Pen + Touch interaction in accordance with the natural and intuitive interaction characteristics has been made attention by more researchers. The traditional GUI desktop system is designed based on the mouse and keyboard, and isn’t suitable for the pen and touch of natural interaction devices in many aspects, moreover, it is different from the real desktop on operation and vision. So we put forward the 3D desktop system based on pen and touch input modalities which provides more natural physical properties such as mass, dimension, gravity etc to the desktop operation, in addition, we have designed a lot of interaction techniques which can implement drag, scaling, rotation and manipulation of the objects .For the operability of the 3D desktop system, we designed a user experiment and the results demonstrate that the desktop system operates more real and more natural.

Key words:3D Desktop System; Pen Input; Touch Input

收稿日期：（2015.12.01）

作者簡(jiǎn)介：高 陽(yáng)（1991-），男，昆明理工大學(xué)，計(jì)算機(jī)重點(diǎn)實(shí)驗(yàn)室，碩士研究生，研究方向：人機(jī)交互，昆明，650500

基金項(xiàng)目：國(guó)家自然科學(xué)基金項(xiàng)目（61262042）

文章編號(hào)：1007-757X(2016)02-0005-05

中圖分類號(hào)：TP311

文獻(xiàn)標(biāo)志碼：A