丁德菊（作者單位：西藏廣播影視節(jié)目傳輸中心）

?

基于混合現(xiàn)實(shí)的人機(jī)交互系統(tǒng)設(shè)計(jì)

丁德菊
（作者單位：西藏廣播影視節(jié)目傳輸中心）

摘 要：本項(xiàng)目主要目標(biāo)是摒棄傳統(tǒng)的人機(jī)交互模式，在項(xiàng)目中構(gòu)思了混合現(xiàn)實(shí)的人機(jī)交互，即用戶可以用現(xiàn)實(shí)中真實(shí)的物理反應(yīng)與虛擬環(huán)境作結(jié)合，以便展現(xiàn)出更有趣的互動(dòng)功能。符合人們使用習(xí)慣，更加注重用戶體驗(yàn)。該系統(tǒng)以EC5-1719CLDNA嵌入之星為硬件平臺(tái)，結(jié)合使用迷你投影系統(tǒng)及鐳射控制系統(tǒng)，在用戶輸入體驗(yàn)上采用獨(dú)特的LRMT鐳射增強(qiáng)反射非確定表面的Multi-touch技術(shù)，在軟件上開(kāi)發(fā)了無(wú)紙化辦公的交互引擎，并充分利用多線程及硬件平臺(tái)的強(qiáng)大計(jì)算性能。

關(guān)鍵詞：混合現(xiàn)實(shí)；非確定表面Multi-touch；圖像識(shí)別；交互引擎

“無(wú)紙化”辦公概念提出至今，已經(jīng)經(jīng)歷了超過(guò)20年的發(fā)展，然而，期間國(guó)內(nèi)外普遍研究的重點(diǎn)都放在構(gòu)建以PC機(jī)和網(wǎng)絡(luò)為平臺(tái)的一套在企業(yè)公司內(nèi)部使用的辦公軟和郵件收發(fā)系統(tǒng)，因而整套系統(tǒng)存在移動(dòng)性差、無(wú)法滿足人們的閱讀習(xí)慣等缺陷，同時(shí)由于打印機(jī)等電子產(chǎn)品的普遍使用，使得“無(wú)紙化”變成“多紙化”，與最初目標(biāo)背道而馳。本項(xiàng)目關(guān)注用戶體驗(yàn)，在無(wú)紙環(huán)境下為用戶提供習(xí)慣性的書(shū)寫(xiě)功能，讓人們逐漸從紙制環(huán)境轉(zhuǎn)移到功能及感受較為相似的電子虛擬環(huán)境，為用戶提供更為豐富的、新的體驗(yàn)感受。

1　系統(tǒng)方案

本系統(tǒng)以EC5-1719CLDNA嵌入之星為硬件平臺(tái)，結(jié)合使用迷你投影系統(tǒng)及鐳射控制系統(tǒng)，在用戶輸入體驗(yàn)上采用獨(dú)特的LRMT鐳射增強(qiáng)反射非確定表面的Multi-touch技術(shù)，取代了傳統(tǒng)的鼠標(biāo)和觸摸屏部件，在不需要任何標(biāo)準(zhǔn)配件的輔助下，在任何環(huán)境下，輕松實(shí)現(xiàn)家庭娛樂(lè)辦公的人機(jī)交互（圖1）。軟件交互系統(tǒng)采用JAVA語(yǔ)言實(shí)現(xiàn)，保證了整個(gè)軟件系統(tǒng)的可移植性，同時(shí)獨(dú)特的軟件架構(gòu)設(shè)計(jì)，保證了功能的擴(kuò)展性，在已完成的功能中，可以實(shí)現(xiàn)圖片瀏覽、記事辦公、多用戶參與、家居設(shè)計(jì)和多界面模式等功能。在未來(lái)版本中，將完成用戶與用戶間文件傳輸及共享等功能。

圖1　混合現(xiàn)實(shí)的人機(jī)交互系統(tǒng)

2　功能與指標(biāo)

現(xiàn)實(shí)中，人們通常使用辦公桌進(jìn)行書(shū)寫(xiě)、編輯、演算和繪圖的工作。要想用計(jì)算機(jī)系統(tǒng)替代人們對(duì)于這些工作內(nèi)容的傳統(tǒng)辦公模式，除了要在軟件系統(tǒng)上實(shí)現(xiàn)這些辦公功能以及提供良好的用戶界面外（表1），更應(yīng)該考慮保留人們?cè)谒阶烂嫔限k公、討論的習(xí)慣，而不是構(gòu)建一個(gè)垂直顯示的液晶屏幕或投影幕布來(lái)進(jìn)行交互，想想人們圍繞在一張辦公桌上探討問(wèn)題，那是多么高效而又愜意的一件事！

2.1 非確定表面的Multi-touch技術(shù)

為了實(shí)現(xiàn)用戶通過(guò)雙手及任意筆對(duì)虛擬對(duì)象的交互操作，特別設(shè)計(jì)了用戶輸入技術(shù)。2006年Siggraph的Emerging Technology單元上展出的Multi Touch技術(shù)記憶猶新。目前現(xiàn)有的Multi-touch技術(shù)都是基于物理硬件觸摸裝置實(shí)現(xiàn)，例如，LucidTouch技術(shù)，多點(diǎn)輸入觸摸屏-FTIR-受抑全內(nèi)反射（Frustrated Total Internal Reflection）技術(shù)等，但這些技術(shù)都需要借助一個(gè)的固定物理觸摸裝置，攜帶及安裝不便。

創(chuàng)新特色技術(shù)—稱之為L(zhǎng)RMT鐳射增強(qiáng)反射（Laser Reflection Multi-touch）的非確定表面的Multi-touch技術(shù)，即用戶可以在現(xiàn)實(shí)中任意的表面上進(jìn)行多點(diǎn)觸摸（如桌面、地面、墻面等），觸摸范圍可以任意調(diào)節(jié)。

表1　基本的桌面交互功能

2.2 用戶體驗(yàn)交互的界面

交互引擎：負(fù)責(zé)對(duì)虛擬對(duì)象的建立、顯示、特效渲染，用戶輸入反饋到可視區(qū)域，保證用戶所見(jiàn)即可操作，所點(diǎn)即所要。完成用戶所有的交互反饋操作及處理。同時(shí)引擎對(duì)交互的虛擬對(duì)象進(jìn)行多線程的優(yōu)化。

軟件功能：（1）照片的瀏覽，照片放大、縮小、旋轉(zhuǎn)、折疊（可以在背面留下一些信息，可以是手寫(xiě)體也可以是打印體）；（2）A4紙及便筏條，任意書(shū)寫(xiě)，通過(guò)虛擬鍵盤(pán)可以錄入標(biāo)準(zhǔn)字體等，紙的反面有功能菜單，可以實(shí)現(xiàn)清除、銷(xiāo)毀等操作；（3）虛擬鍵盤(pán)；（4）地圖瀏覽；（5）碎紙插槽。

2.3 軟件部分功能介紹

紙和便簽功能（圖2）：用戶可以如同真實(shí)的感覺(jué)實(shí)用紙張一樣，可以用筆也可以用手來(lái)進(jìn)行書(shū)寫(xiě)、折疊、旋轉(zhuǎn)、縮放等功能。

照片以及平面材料的瀏覽（圖3）：用戶可以像真實(shí)的紙質(zhì)材料那樣處理它們，可以散開(kāi)或合攏，放大縮小等，甚至折疊照片在反面記錄信息等。

板書(shū)書(shū)寫(xiě)功能（圖4）：用筆在投射虛擬界面中進(jìn)行書(shū)寫(xiě)，讓任何物體表面上都能進(jìn)行書(shū)寫(xiě)。

2.4 硬件架構(gòu)（Hardware Architecture）

如圖5所示，硬件上特別選用基于OLED技術(shù)的Toshiba產(chǎn)的DLP迷你投影儀，設(shè)備尺寸很小，大概只有一個(gè)巴掌大小，攜帶方便，亮度達(dá)到了400流明，也是本項(xiàng)目的首選。LRMT技術(shù)則需要依賴于鐳射控制系統(tǒng)、鐳射模組以及CMOS攝像頭，鐳射控制系統(tǒng)是由核心是AVR單片機(jī)控制，同時(shí)通過(guò)RS232與上位機(jī)通訊，并連接鐳射模組進(jìn)行鐳射信號(hào)發(fā)送。

圖2　紙和便簽功能

圖3　照片以及平面材料的瀏覽

圖4　板書(shū)書(shū)寫(xiě)功能

3　實(shí)現(xiàn)原理

3.1 LRMT鐳射增強(qiáng)反射（Laser Reflection Multi-touch）技術(shù)原理

LRMT是一整套多點(diǎn)虛擬觸摸的方案，由鐳射控制、鐳射發(fā)射裝置、圖像捕捉識(shí)別系統(tǒng)3個(gè)部分組成。

3.1.1 鐳射系統(tǒng)

鐳射模組發(fā)射出一字線650nm光譜的紅色激光（圖6），光線平面水平與觸摸表面。鐳射模組發(fā)射的激光具有一定角度，采用120°的鐳射鏡頭。鐳射模組擺放位置到具體探測(cè)表面的計(jì)算方式有：設(shè)L為探測(cè)表面的最大寬度，一般根據(jù)投影系統(tǒng)投射出的屏幕寬度來(lái)定，即L=Lp，Lp為投射區(qū)域最大寬度。鐳射擺放位置距離投射區(qū)域的距離為D=L/2·tg （FanAngle/2）（見(jiàn)圖7）

圖6　紅色激光

圖5　硬件架構(gòu)圖

圖7　鐳射擺放示意圖

鐳射系統(tǒng)控制是由AVR MEGA8535單片機(jī)+鐳射專(zhuān)用控制芯片EG-NMLCd組成，控制鐳射發(fā)射器。同時(shí)通過(guò)RS232接口和Intel嵌入之星通訊。

3.1.2 圖像捕捉及識(shí)別

鑒于嵌入式之星強(qiáng)大的處理能力，CMOS攝像頭捕捉的圖交給嵌入之星處理。圖8中顯示了整個(gè)圖像識(shí)別的流程，在下面會(huì)詳細(xì)介紹圖像識(shí)別流程各個(gè)過(guò)程的技術(shù)細(xì)節(jié)。

3.2 虛擬交互軟件UMOT

用戶體驗(yàn)是通過(guò)LRMT技術(shù)方式輸入，對(duì)交互界面呈現(xiàn)的虛擬對(duì)象進(jìn)行操作，然后實(shí)時(shí)地將處理過(guò)程反饋到用戶的眼前，從而達(dá)到與真實(shí)一致的互動(dòng)性。交互界面的核心是由一套完整的交互引擎在后臺(tái)提供各種算法級(jí)服務(wù)。此引擎提供了完整的虛擬對(duì)象的呈現(xiàn)，虛擬對(duì)象各種反應(yīng)處理機(jī)制，交互圖形表達(dá)方式等。引擎的圖形渲染采用了GDI+與openGL技術(shù)相結(jié)合，讓虛擬對(duì)象的表達(dá)更接近與真實(shí)。所有的軟件功能都是基于引擎提供的API處理函數(shù)來(lái)實(shí)現(xiàn)的。引擎的代碼量在2萬(wàn)行左右。此引擎代號(hào)為UMOT-ultra mobile office tabletop。

3.2.1 軟件架構(gòu)

為了在嵌入之星上實(shí)現(xiàn)技術(shù)方案，在軟件上我們必須考慮程序以及算法的可行性，是否可以在設(shè)備穩(wěn)定的運(yùn)行。在整個(gè)項(xiàng)目的開(kāi)展中我們確實(shí)遇到了很多困難，并且提出了自己的解決方案。我們充分考慮到Intel雙核多線程的處理效能，多虛擬對(duì)象的處理都是完全依賴多線程的處理。

由于大部分應(yīng)用都需要基于軟件算法的支持，這里給出了軟件的基本架構(gòu)（見(jiàn)圖9），軟件分成了兩個(gè)部分，一個(gè)是UMOT client部分，它運(yùn)行在嵌入之星上中，另一個(gè)則是服務(wù)器端的軟件程序。

3.2.2 引擎類(lèi)結(jié)構(gòu)的關(guān)系

整個(gè)UMOT引擎中大概封裝了大約有60個(gè)Class，其中虛基類(lèi)和interface

圖8　LMRT技術(shù)的圖像識(shí)別流程

圖9　軟件基本架構(gòu)

（下轉(zhuǎn)第240頁(yè)）

class有20個(gè)，分別定義了引擎的基本框架及實(shí)現(xiàn)接口。其余的類(lèi)是真正的實(shí)現(xiàn)代碼部分。

引擎的最底層的圖形效果是在DsjoglTabletoppane、DsTabletop和JDestopPane中實(shí)現(xiàn)，實(shí)現(xiàn)了旋轉(zhuǎn)、放大、縮小、陰影和折疊等渲染效果。在DsEngine的子類(lèi)中實(shí)現(xiàn)了引擎中支持的桌面的各種效果，如四方桌模式、圓桌模式等。DSimage和DsFrame是中實(shí)現(xiàn)了對(duì)象的界面顯示效果，由于系統(tǒng)本身并不支持旋轉(zhuǎn)的窗體等對(duì)象，項(xiàng)目中幾乎要重寫(xiě)窗體實(shí)現(xiàn)效果以及內(nèi)部的處理消息。

4　系統(tǒng)測(cè)試

在系統(tǒng)實(shí)現(xiàn)過(guò)程中，由于整個(gè)系統(tǒng)分成鐳射增強(qiáng)反射子系統(tǒng)及人機(jī)交互軟件子系統(tǒng)并行開(kāi)發(fā)，因而在每個(gè)模塊完成后，都編寫(xiě)了相應(yīng)的測(cè)試程序?qū)ζ溥M(jìn)行測(cè)試，各個(gè)模塊都取得了較好的效果。當(dāng)所有模塊編寫(xiě)完畢后，對(duì)兩個(gè)子系統(tǒng)分別進(jìn)行了集成測(cè)試，子系統(tǒng)都能夠完成項(xiàng)目規(guī)劃所要求的功能。隨后，完整地搭建整個(gè)系統(tǒng)，并針對(duì)各項(xiàng)功能進(jìn)行了最后的系統(tǒng)的測(cè)試，評(píng)定整個(gè)系統(tǒng)是否滿足各個(gè)功能性能及指標(biāo)。測(cè)試表格及結(jié)果如表2。

表2　系統(tǒng)各項(xiàng)功能測(cè)試結(jié)果

5　總結(jié)

本系統(tǒng)以一種全新的設(shè)計(jì)理念去詮釋人機(jī)交互概念，顛覆傳統(tǒng)的單人、借助標(biāo)準(zhǔn)輸入設(shè)備、垂直性的人機(jī)交互模式，以一種更適合人們書(shū)寫(xiě)、閱讀、辦公習(xí)慣的方式讓用戶獲得高效、親切的用戶體驗(yàn)。系統(tǒng)在識(shí)別的準(zhǔn)確性、交互的實(shí)時(shí)性、軟件功能的擴(kuò)展性和界面交互的友好性方面都體現(xiàn)了較高的應(yīng)用前景。

參考文獻(xiàn)：

[1]SD Scott, KD Grant, RL Mandryk. System Guidelines for Co-located, Collaborative Work on a Tabletop Display[A]//Proc. European Conf. Computer-Supported Cooperative Work （ECSCW）[C].2003.

[2]R Kruger, S Carpendale, SD Scott, et al. Roles of Orientation in Tabletop Collaboration： Comprehension, Coordination and Communication[J] Computer Supported Cooperative Work,2004（5-6）.

[3]DWigdor, RBalakrishnan. Empirical Investigation into the Effect of Orientation on Text Readability in Tabletop Displays[A]//Proc. 9th Euro. Conf. Computer-Supported Cooperative Work （ECSCW）[C].2005.