王象剛

（東營(yíng)職業(yè)學(xué)院，山東東營(yíng)，257091）

1 智能手機(jī)三維交互框架

智能手機(jī)，尤其是像蘋果，三星等配有高像素?cái)z像頭、大尺寸多點(diǎn)觸摸屏幕、豐富傳感器的手機(jī)，給大屏幕交互帶來了新的希望.相比于鼠標(biāo)等傳統(tǒng)設(shè)備，智能手機(jī)具有明顯優(yōu)勢(shì)。智能手機(jī)有著不同于傳統(tǒng)交互設(shè)備特點(diǎn)：傳統(tǒng)交互設(shè)備專用性較強(qiáng)，如鼠標(biāo)的發(fā)明是為了用于WIMP 界面交互，而智能手機(jī)的主要用途是通訊；鼠標(biāo)輸入通道單一，其移動(dòng)與按鍵構(gòu)成全部輸入而智能手機(jī)集成了多個(gè)輸入通道，如攝像頭視頻輸入通道、話筒語音輸入通道、慣性傳感器運(yùn)動(dòng)輸入道、觸摸屏輸入通道等；傳統(tǒng)鼠標(biāo)交互需要支撐面，因此其交互范圍受到限制，而智能手機(jī)采用無線方式在三維空間中進(jìn)行交互.通過分析智能手機(jī)與大屏幕交互過程中的數(shù)據(jù)流動(dòng)。

所示，它采用客戶端服務(wù)器架構(gòu)，客戶端運(yùn)行于手機(jī)上，服務(wù)器端運(yùn)行于公共大屏幕等后端服務(wù)器，客戶端用Wi-Fi 或者藍(lán)牙與服務(wù)器進(jìn)行通信客戶端按數(shù)據(jù)流動(dòng)的方向劃分為交互層、應(yīng)用邏輯層、網(wǎng)絡(luò)層.交互層監(jiān)聽用戶的交互操作，將捕獲的觸屏輸入與傳感器輸入傳遞給應(yīng)用邏輯層.應(yīng)用邏輯層含觸屏輸入處理模塊、空間姿態(tài)解算模塊以及消息合成模塊.觸屏數(shù)據(jù)輸入模塊處理交互層發(fā)送過來的手指手勢(shì)信息并將其解釋成觸屏消息；空間姿態(tài)解算模塊處理交互層發(fā)送過來的傳感器原始數(shù)據(jù)并計(jì)算出設(shè)備的空間姿態(tài)；消息合成模塊將屏消息與空間姿態(tài)通過定義的交互消息格式合成為交互消息，交由網(wǎng)絡(luò)層負(fù)責(zé)發(fā)出.服務(wù)器端按數(shù)據(jù)流動(dòng)的方向劃分為網(wǎng)絡(luò)層、交互映射層、界面層。

2 三維人際交互分類

2.1 基本交互任務(wù)

所謂的基本交互任務(wù)就是我們平常所使用的漫游技術(shù)，或則是系統(tǒng)控制任務(wù)，使用者操作技術(shù)時(shí)三維用戶界面的基礎(chǔ)，通常也是交互技術(shù)的基本組成部分，比如在系統(tǒng)控制技術(shù)中必須用到選擇技術(shù)來判定三維物體，而對(duì)于離散點(diǎn)的漫游技術(shù)中，同樣需要連續(xù)的選擇多個(gè)點(diǎn)組成運(yùn)動(dòng)軌跡來實(shí)現(xiàn)。

2.2 雙手交互技術(shù)

所謂的雙手交互技術(shù)憑借其在行為學(xué)上的優(yōu)勢(shì)而受到較為廣泛的推廣，雙手交互技術(shù)不僅僅能夠提高工作效率和網(wǎng)速，還能將用戶在日常生活中的技能自然的反映到人機(jī)對(duì)話中，從而有效的降低用戶的學(xué)習(xí)壓力和使用難度，比如虛擬制造就是雙手交互技術(shù)比較典型的應(yīng)用。

2.3 多通道交互技術(shù)

多通道交互技術(shù)時(shí)基于人具有多通道感知能力來發(fā)明的，為用戶提供形象逼真的感官體驗(yàn)是虛擬環(huán)境研究的關(guān)鍵，從這個(gè)角度來說，虛擬環(huán)境就是研究多通道交互技術(shù)的最佳環(huán)境，比如語音、手勢(shì)都可以作為輸入通道，不難理解，各個(gè)通道之間的融合和用戶使用意圖的敏銳捕捉是多通道交互技術(shù)的關(guān)鍵。

2.4 二維設(shè)備的交互技術(shù)

基于二維設(shè)備的三維交互技術(shù)可以說是從CAD 領(lǐng)域發(fā)展而來的，現(xiàn)階段主流的CAD 軟件都支持鼠標(biāo)進(jìn)行二維變化，但是二維設(shè)備應(yīng)用不夠靈活，三維界面中的自由度往往需要轉(zhuǎn)化為鼠標(biāo)的操作序列，這就會(huì)降低用戶的操作效率和交互自然性，二維設(shè)備中最為合適的交互技術(shù)就是指點(diǎn)選擇。目前的三維交互設(shè)備還處于探索階段，還沒有一種比較完善的輸入裝置能夠像二維圖形界面一樣廣泛的流行開來，但是三維設(shè)備的發(fā)展特別快，目前已經(jīng)由的三維交互設(shè)備主要有立體顯示、3D位置跟蹤設(shè)備等，立體顯示設(shè)備比如我們?nèi)粘Ｊ褂玫目梢苿?dòng)的顯示器等，立體眼鏡是一種特殊的眼鏡，使用者能夠從眼鏡上看到顯示器上的立體圖像，三維的顯示器能夠根據(jù)人眼的區(qū)別顯示兩種圖像。

3 基于慣性傳感器的姿態(tài)解算

對(duì)物體空間姿態(tài)與位置的研究主要來源于捷聯(lián)慣導(dǎo)系統(tǒng)，軍用系統(tǒng)中借助GPS、全站儀來輔助計(jì)算.由于設(shè)備的限制，本文只關(guān)注設(shè)備姿態(tài)的計(jì)算，而對(duì)于位置計(jì)算則不做過多探討.物體的空間姿態(tài)解算的經(jīng)典算法有龍格－庫塔法以及卡爾曼濾波.龍格－庫塔法通過對(duì)陀螺儀的三軸角速度值進(jìn)行積分，可以得出任一時(shí)刻的空間姿態(tài)；其缺點(diǎn)在于陀螺儀精度有限，長(zhǎng)時(shí)間積分會(huì)發(fā)生誤差積累，使計(jì)算結(jié)果隨時(shí)間發(fā)生漂移.爾曼濾波用加速度計(jì)測(cè)量值作為觀測(cè)值去校正前一狀態(tài)通過陀螺儀積分計(jì)算出來的預(yù)測(cè)值，通過迭代過程預(yù)測(cè)值被更新并且逼近真實(shí)值；其缺點(diǎn)在于在運(yùn)動(dòng)比較平穩(wěn)的情況下其預(yù)測(cè)效果很好，但是當(dāng)運(yùn)動(dòng)較快等受慣性力情況下，因受加速度計(jì)值快速變化的影響，會(huì)出現(xiàn)抖動(dòng)嚴(yán)重以及收斂較慢等情況，并且迭代過程計(jì)算量也較大，算法復(fù)雜度較高.針對(duì)上述問題，本文提出了一種輕量級(jí)、實(shí)時(shí)準(zhǔn)確的多傳感器融合空間姿態(tài)解算算法.由于手機(jī)運(yùn)動(dòng)過程總是快速運(yùn)動(dòng)狀態(tài)與準(zhǔn)靜止?fàn)顟B(tài)（手機(jī)運(yùn)動(dòng)速度非常小，接近于靜止?fàn)顟B(tài)）的相互轉(zhuǎn)換，當(dāng)手機(jī)快速運(yùn)動(dòng)時(shí)運(yùn)動(dòng)幅度較大，加速度計(jì)值，因?yàn)闊o法消除重力分量而不可信，在此狀態(tài)下棄用加速度計(jì)值，用四階龍格－庫塔法對(duì)陀螺儀數(shù)值進(jìn)行積分求得運(yùn)動(dòng)狀態(tài)下的空間姿態(tài)；而當(dāng)手機(jī)在準(zhǔn)靜止?fàn)顟B(tài)時(shí)，即三軸加速度模值接近重力加速度g時(shí)，加速度計(jì)值結(jié)合磁力計(jì)值用重力分解法解算空間姿態(tài)，可達(dá)到消除當(dāng)前姿態(tài)漂移誤差的目的.整個(gè)計(jì)算過程是基于四元數(shù)運(yùn)算的，四元數(shù)相比于歐拉角來說，可以避免“萬向死鎖節(jié)”，并且相對(duì)于旋轉(zhuǎn)矩陣來說，四元數(shù)只需4 個(gè)數(shù)表示可以簡(jiǎn)化計(jì)算過程。整個(gè)姿態(tài)解算過程步驟如圖1：

帶有慣性傳感器、觸摸屏、攝像頭智能手機(jī)，如目前出現(xiàn)的蘋果、安卓系統(tǒng)的手機(jī)，它們?cè)诰邆渫ㄓ嵐δ艿耐瑫r(shí)，可以很方便地用于遠(yuǎn)距離、大幕的交互.本文基于傳感器與觸屏信息融合的思想，提出2 種交互技術(shù)，分別用于二維交互場(chǎng)景與三維交互場(chǎng)景，達(dá)到用手機(jī)代替?zhèn)鹘y(tǒng)二維交互設(shè)備在這些場(chǎng)景下交互的目的.本文進(jìn)行了相關(guān)應(yīng)用實(shí)例的開發(fā)與評(píng)估，從實(shí)驗(yàn)的結(jié)果可以看出，在二維交互應(yīng)用場(chǎng)景中，手機(jī)通過合適的交互映射技術(shù)，幾乎可以代替?zhèn)鹘y(tǒng)的鼠標(biāo)與鍵盤進(jìn)行交互；而在三維應(yīng)用場(chǎng)景中，在交互效率、自然性、易學(xué)習(xí)性以及用戶偏好方面，手機(jī)相比于鼠標(biāo)鍵盤都有著不可比擬的優(yōu)越性.開發(fā)者若基于智能手機(jī)的三維交互框架，能快速地開發(fā)出適應(yīng)用戶需求的應(yīng)用；整個(gè)框架可擴(kuò)展性強(qiáng)，通過添加相應(yīng)的模塊即可用于特定的交互場(chǎng)景.智能手持設(shè)備除了具有移動(dòng)通訊功能外，也是一類具有輸入、輸出集成的多通道交互設(shè)備，在虛擬現(xiàn)實(shí)和普適計(jì)算等領(lǐng)域具有廣泛的應(yīng)用前景。

4 三維交互映射

三維交互映射是將獲取的輸入信息映射成三維交互操作的技術(shù)三維交互技術(shù)可以分為虛擬手（virtual hand）與虛擬射線（virtual pointer）2 種，在“虛擬手”中，用戶主要通過“虛擬手”來觸摸與拾取物體；而在“虛擬射線”中，用戶主要通過指向物體來進(jìn)行交互.本文中可以獲得手機(jī)的空間姿態(tài)［φ，θ，ψ］，但是手機(jī)空間運(yùn)動(dòng)的位移與位置由于傳感器的限制無法精確計(jì)算，而“虛擬射線”中的第九射線技術(shù)用指點(diǎn)設(shè)備的空間姿態(tài)就可以對(duì)物體進(jìn)行控制，所以本文選擇用第九射線實(shí)現(xiàn)三維交互.經(jīng)典第九射線通過空間姿態(tài)的映射達(dá)到對(duì)物體3DOF 的控制.具體來說，用ψ 角映射為三維空間x軸上移動(dòng)物體，θ 角映射為y軸上移動(dòng)物體，而φ 角映射z軸上旋轉(zhuǎn)物體.本文通過把空間姿態(tài)與觸屏信息相結(jié)合，對(duì)第九射線算法進(jìn)行了改進(jìn)，在實(shí)現(xiàn)了在x，y軸上移動(dòng)物體以及z軸旋轉(zhuǎn)物體的同時(shí)，增加了對(duì)物體在z軸上移動(dòng)以及放大縮小的控制。

圖形菜單的轉(zhuǎn)變是三維交互映射中的主要內(nèi)容，將二維的圖形菜單變?yōu)槿S的，是當(dāng)下最為受歡迎的系統(tǒng)控制技術(shù)，這些菜單的原始功能與桌面環(huán)境下的基本相同，通常情況下，二維的菜單具有下拉式、浮動(dòng)式以及彈出式菜單，將二維的菜單轉(zhuǎn)為三維技術(shù)，其中最為關(guān)鍵的就是將菜單選項(xiàng)對(duì)準(zhǔn)相機(jī)，這樣的話用戶不管向哪看，都可以看到菜單顯示，這種三維的菜單最大的優(yōu)勢(shì)就是對(duì)于交互技術(shù)能夠靈活的應(yīng)用，并且便于用戶理解和使用，基本上所有的用戶都能立刻識(shí)別這些菜單的元素。智能手機(jī)的空間坐標(biāo)分布（如圖2）：

菜單的位置直接影響著用戶對(duì)設(shè)計(jì)結(jié)果的接受程度，從這個(gè)角度來說，菜單最好是能夠便于用戶操作。任何操作技術(shù)都是由一定的適用范圍的，比如醫(yī)學(xué)中的操作技術(shù)不能夠在城市規(guī)劃中使用，因此在研究交互技術(shù)之前，我們必須要明確交互任務(wù)，要根據(jù)不同的操作華寧，采用不同的操縱方式，從而實(shí)現(xiàn)不同的交互技術(shù)應(yīng)用。

5 結(jié)語

三維交互技術(shù)將是未來智能手機(jī)發(fā)展的一個(gè)重要方向，我們要基于現(xiàn)有的技術(shù)水平，不斷的改進(jìn)和創(chuàng)新三維交互技術(shù)與智能手機(jī)的結(jié)合技術(shù)，不斷提升智能手機(jī)的性能和質(zhì)量，更好的滿足用戶的日常需求，進(jìn)一步豐富智能手機(jī)的功能，實(shí)現(xiàn)更為廣泛的應(yīng)用和推廣。三維交互技術(shù)將是未來手機(jī)的一個(gè)重要的發(fā)展方向，因此我們要不斷的豐富和完善智能手機(jī)的三維交互技術(shù)，不斷的創(chuàng)新三維交互設(shè)備，充分利用二者的優(yōu)勢(shì)和長(zhǎng)處，徹底的實(shí)現(xiàn)優(yōu)勢(shì)互補(bǔ)和資源共享。

圖2

[1] 董世海. 人機(jī)交互的進(jìn)展及面臨的挑戰(zhàn)[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào).2013

[2] 廖竹華. 裝配仿真的三維交互和用戶界面設(shè)計(jì)[J].系統(tǒng)仿真學(xué)報(bào).2013

[3] 永剛.桌面環(huán)境下的三維用戶界面和三維交互技術(shù)[D].中國(guó)科學(xué)院研究生院博士學(xué)位論文.2013

[4] 邢衛(wèi)東. 基于GVS 的城區(qū)漫游系統(tǒng)的開發(fā)[J]. 計(jì)算機(jī)應(yīng)用.2011