顏克彤, 邵 將, 劉 珂
(中國(guó)礦業(yè)大學(xué), 江蘇 徐州 221116)
近年來, 隨著計(jì)算機(jī)技術(shù)和信息控制理論的發(fā)展與突破, 基于混合現(xiàn)實(shí) (Mixed Reality, MR) 技術(shù)的交互界面逐漸成為研究熱點(diǎn), 廣泛應(yīng)用于醫(yī)學(xué)圖像、 航空航天、 控制系統(tǒng)、 教育教學(xué)等領(lǐng)域。 借助混合現(xiàn)實(shí)系統(tǒng)信息, 既能有效提高系統(tǒng)性能, 也能擴(kuò)展用戶的認(rèn)知能力, 輔助人類決策, 提高解決問題的能力。 在混合現(xiàn)實(shí)系統(tǒng)中, 多源、 實(shí)時(shí)、 動(dòng)態(tài)的海量信息最終是以交互界面的形式呈現(xiàn)給用戶, 交互界面信息的可視化呈現(xiàn), 對(duì)于混合現(xiàn)實(shí)系統(tǒng)的功效、 可用性以及用戶獲取信息的效率都有著舉足輕重的作用, 已成為信息科學(xué)、 智能科學(xué)、 系統(tǒng)科學(xué)、 工效學(xué)等學(xué)科和領(lǐng)域共同關(guān)注的問題。如何在混合現(xiàn)實(shí)界面中科學(xué)呈現(xiàn)數(shù)據(jù)信息, 使用戶更好的觀察現(xiàn)實(shí)信息、 搜索信息、 獲取信息, 更有效的實(shí)現(xiàn)信息的識(shí)別、 判斷并做出正確決策已經(jīng)成為了混合現(xiàn)實(shí)界面的可視化呈現(xiàn)研究的焦點(diǎn)問題。 尤其在軍事領(lǐng)域、航空航天領(lǐng)域, 不僅需要用戶在復(fù)雜繁多的信息中找到目標(biāo), 還要求精準(zhǔn)、 快速做出決策, 因此, 對(duì)混合現(xiàn)實(shí)系統(tǒng)界面進(jìn)行研究, 并提出界面信息呈現(xiàn)準(zhǔn)則與界面設(shè)計(jì)原則, 是十分必要的。
提及混合現(xiàn)實(shí), 就會(huì)想到虛擬現(xiàn)實(shí) (Virtual Reality,VR)和增強(qiáng)現(xiàn)實(shí)(Augmented Reality,AR),三者相互區(qū)別又相互聯(lián)系。 混合現(xiàn)實(shí)是在虛擬現(xiàn)實(shí)與增強(qiáng)現(xiàn)實(shí)基礎(chǔ)上的進(jìn)一步發(fā)展。 虛擬現(xiàn)實(shí)呈現(xiàn)的是一個(gè)三維的虛擬空間, 用戶看到的是虛擬的空間。 增強(qiáng)現(xiàn)實(shí)是把虛擬信息疊加到真實(shí)空間內(nèi), 既有虛擬空間又有真實(shí)世界, 而混合現(xiàn)實(shí)是真實(shí)世界與虛擬世界的無縫連接, 在現(xiàn)實(shí)世界、 虛擬世界和用戶之間搭起了一個(gè)交互反饋的信息回路。對(duì)于混合現(xiàn)實(shí)的定義,Milgram 等[1]提出“虛擬連續(xù)統(tǒng)一體”的概念, 解釋了虛擬現(xiàn)實(shí)、 增強(qiáng)現(xiàn)實(shí)與混合現(xiàn)實(shí)三者之間的區(qū)別與聯(lián)系, 并對(duì)MR 概念做出了定義。 在連續(xù)體的一端顯示真實(shí)環(huán)境, 在另一端顯示虛擬環(huán)境, 而MR 是在這兩個(gè)極端之間的部分。 可以看出, 混合現(xiàn)實(shí)是包含增強(qiáng)現(xiàn)實(shí)與虛擬現(xiàn)實(shí)以及之間的所有組合。
隨著混合現(xiàn)實(shí)技術(shù)的發(fā)展, 越來越多的學(xué)者針對(duì)混合現(xiàn)實(shí)展開了相關(guān)研究。李暢等[2]針對(duì)航天員混合現(xiàn)實(shí)系統(tǒng)艙內(nèi)環(huán)境智能理解任務(wù)的需求, 構(gòu)建了一種航天員混合現(xiàn)實(shí)空間場(chǎng)景理解原型系統(tǒng)架構(gòu), 提出了基于深度學(xué)習(xí)的空間場(chǎng)景理解方法, 并通過實(shí)驗(yàn)驗(yàn)證了方法的有效性。 李喆等[3]基于微軟HoloLens 混合現(xiàn)實(shí)設(shè)備,提出了利用混合現(xiàn)實(shí)技術(shù)的核電站設(shè)備維修輔助系統(tǒng)解決方案。張馨文[4]提出博物館混合現(xiàn)實(shí)導(dǎo)覽系統(tǒng)界面呈現(xiàn)原則,并實(shí)現(xiàn)了一套基于用戶行為引導(dǎo)功能的混合現(xiàn)實(shí)博物館導(dǎo)覽系統(tǒng)。 張旭輝等[5]借助HoloLens 設(shè)計(jì)了一種基于混合現(xiàn)實(shí)的礦用設(shè)備維修指導(dǎo)系統(tǒng), 維修人員可通過視線跟蹤、語音交互、手勢(shì)識(shí)別等方式與HoloLens 交互。 紀(jì)連恩等[6]研發(fā)了一個(gè)基于混合現(xiàn)實(shí)界面的下頜運(yùn)動(dòng)仿真系統(tǒng),使用戶可以與其進(jìn)行多感知系統(tǒng)交互。 Ko 等[7]在之前的可用性相關(guān)研究的基礎(chǔ)上, 提出了智能手機(jī)AR 應(yīng)用的可用性原則,并進(jìn)行了可用性測(cè)試,以驗(yàn)證可用性原則的適用性。 Dυ··nser 等[8]結(jié)合一些已知的以用戶為中心的設(shè)計(jì)原則和AR 系統(tǒng)的需求總結(jié)了8 個(gè)較為通用的AR 界面設(shè)計(jì)原則。黃進(jìn)等[9]總結(jié)了混合現(xiàn)實(shí)中使用最多的幾種用戶界面形態(tài),分別為實(shí)物用戶界面(TUI)、觸控用戶界面、3D 用戶界面、 多通道用戶界面與混合用戶界面。 但是,在實(shí)際應(yīng)用中這些界面之間會(huì)有交集,很難劃分清楚這幾種界面。 目前國(guó)內(nèi)外混合現(xiàn)實(shí)技術(shù)的研究熱點(diǎn)主要集中于核心的算法與軟硬件系統(tǒng)平臺(tái)等方向, 較少針對(duì)混合現(xiàn)實(shí)用戶界面信息呈現(xiàn)及其界面設(shè)計(jì)原則的研究,因此,本文以混合現(xiàn)實(shí)人機(jī)界面為研究對(duì)象,重點(diǎn)分析其界面特點(diǎn),得出適用于混合現(xiàn)實(shí)系統(tǒng)界面的設(shè)計(jì)原則。
從信息科學(xué)的角度,混合現(xiàn)實(shí)是一種多層次、多源的數(shù)據(jù)處理過程,系統(tǒng)對(duì)來自不同信息源的數(shù)據(jù)進(jìn)行檢測(cè)、識(shí)別、跟蹤、映射等處理,從而能夠獲得比單信息源數(shù)據(jù)更詳細(xì)、更精確的推理。虛實(shí)融合、實(shí)時(shí)交互、三維注冊(cè)是混合現(xiàn)實(shí)的主要特征[10]。 用戶通過混合現(xiàn)實(shí)界面交互可以更好地實(shí)時(shí)獲取事物(包括實(shí)體、關(guān)系和時(shí)間)的認(rèn)識(shí)或相關(guān)知識(shí),以促進(jìn)有效決策。相比較傳統(tǒng)數(shù)字界面使用情境的單一性、局限性,交互方式的固定性,可視化呈現(xiàn)的低維性,混合現(xiàn)實(shí)界面信息在數(shù)據(jù)來源上具有多源性;在信息特征上具有實(shí)時(shí)性、動(dòng)態(tài)性;在信息呈現(xiàn)方式上具有重疊性、多維性、空間性。
但是相比較傳統(tǒng)數(shù)字界面, 混合現(xiàn)實(shí)界面受限于軟硬件平臺(tái)技術(shù)與用戶的視覺認(rèn)知,通常呈現(xiàn)低分辨率性、視場(chǎng)局限性、易干擾性等特征,造成目前混合現(xiàn)實(shí)界面在多源信息融合、虛實(shí)信息疊加、色彩飽和度、背景亮度控制、 信息提示形式、 圖標(biāo)符號(hào)語義等方面存在標(biāo)準(zhǔn)不統(tǒng)一、呈現(xiàn)不科學(xué)、用戶認(rèn)知負(fù)荷過載等設(shè)計(jì)問題。因此,研究混合現(xiàn)實(shí)界面信息呈現(xiàn)方式與界面設(shè)計(jì)原則具有重要意義。
用戶需要借助混合現(xiàn)實(shí)交互界面進(jìn)行實(shí)時(shí)交互、自然交互,因此在混合現(xiàn)實(shí)情境下,其界面信息呈現(xiàn)需要充分考慮到混合現(xiàn)實(shí)技術(shù)的虛實(shí)結(jié)合的呈現(xiàn)特點(diǎn)和混合現(xiàn)實(shí)自然行為的人機(jī)交互方式。 傳統(tǒng)的用戶界面設(shè)計(jì)原則雖然可以用在混合現(xiàn)實(shí)界面設(shè)計(jì)中,但是范圍較為廣泛,還是應(yīng)在傳統(tǒng)界面設(shè)計(jì)原則基礎(chǔ)之上, 結(jié)合混合現(xiàn)實(shí)界面的虛實(shí)融合和軟硬件技術(shù)的限制等特點(diǎn), 提出面向混合現(xiàn)實(shí)系統(tǒng)的界面設(shè)計(jì)原則。 結(jié)合已有混合現(xiàn)實(shí)與界面設(shè)計(jì)研究基礎(chǔ),針對(duì)混合現(xiàn)實(shí)界面特點(diǎn),主要總結(jié)出以下六點(diǎn)MR 界面設(shè)計(jì)原則。
(1)一致性。混合現(xiàn)實(shí)界面信息呈現(xiàn)首先應(yīng)保持界面風(fēng)格、界面視覺要素的一致性,相同類別或者任務(wù)的交互方式也要保持一致性,不能讓用戶感到困惑或者歧義。界面設(shè)計(jì)還要考慮用戶的認(rèn)知特性和認(rèn)知習(xí)慣, 與用戶認(rèn)知保持一致,從而使用戶快速上手,減少學(xué)習(xí)成本。另外,在多通道用戶界面中,還要保持各個(gè)通道(視覺、聽覺、觸覺等) 之間的一致性, 讓用戶在不同通道得到的反饋一致,避免產(chǎn)生混亂。
(2)可辨性。傳統(tǒng)數(shù)字界面的可視化呈現(xiàn)只是停留在數(shù)據(jù)的可視化階段, 而混合現(xiàn)實(shí)系統(tǒng)界面的可視化呈現(xiàn)需要上升到數(shù)據(jù)挖掘與知識(shí)發(fā)現(xiàn)過程可視化的層次,界面中所呈現(xiàn)的數(shù)據(jù)信息結(jié)構(gòu)需要與實(shí)景進(jìn)行重疊匹配,因此要考慮混合現(xiàn)實(shí)界面信息的遮蔽關(guān)系, 其信息呈現(xiàn)要具有可辨性。首先界面信息結(jié)構(gòu)層次要分明,目標(biāo)信息呈現(xiàn)要突出,與其余信息有所區(qū)別,方便用戶搜索查找;其次界面信息不能遮蓋或干擾實(shí)景, 不僅要能夠協(xié)助用戶觀察, 還要能夠讓用戶在虛實(shí)信息中快速準(zhǔn)確的分辨出來。
(3)簡(jiǎn)潔性?;旌犀F(xiàn)實(shí)界面可視化呈現(xiàn)不同于傳統(tǒng)數(shù)字界面,其信息是多源和動(dòng)態(tài)的,根據(jù)用戶的需求,界面需要在海量數(shù)據(jù)信息中只呈現(xiàn)與當(dāng)前現(xiàn)實(shí)情境相匹配的信息,并且有時(shí)要求用戶快速做出決策,因此,在界面設(shè)計(jì)時(shí)要盡量簡(jiǎn)潔,目標(biāo)呈現(xiàn)方式盡量突出,便于用戶查找以便精準(zhǔn)決策。另外界面之間的層級(jí)跳轉(zhuǎn)方式要簡(jiǎn)潔,跳轉(zhuǎn)數(shù)目要精簡(jiǎn),保證用戶交互過程中的流暢度,提高用戶體驗(yàn)。
(4)容錯(cuò)性?;旌犀F(xiàn)實(shí)技術(shù)可以將現(xiàn)實(shí)世界與虛擬世界融合在一起,相比傳統(tǒng)界面,用戶與界面進(jìn)行交互時(shí)可能會(huì)造成出錯(cuò)。 另外,作為一種新興的人機(jī)交互技術(shù),混合現(xiàn)實(shí)還取決于硬件設(shè)備與交互方式, 硬件設(shè)備的不穩(wěn)定性也會(huì)造成誤差與不準(zhǔn)確性,因此,混合現(xiàn)實(shí)界面設(shè)計(jì)時(shí)應(yīng)考慮一定的容錯(cuò)性, 從而讓用戶有更好地用戶體驗(yàn)與沉浸感。
(5)易學(xué)性。 混合現(xiàn)實(shí)技術(shù)的發(fā)展與成熟,促進(jìn)了其界面范式與交互技術(shù)的發(fā)展。 在MR 下,用戶可以通過手勢(shì)、語音、眼動(dòng)跟蹤、觸覺等不同的交互技術(shù)進(jìn)行交互。在未來,用戶可能會(huì)使用更新穎更先進(jìn)的交互技術(shù),在更新迭代較快的情境下, 界面設(shè)計(jì)與交互方式更要易于用戶學(xué)習(xí),減輕用戶的學(xué)習(xí)負(fù)擔(dān),這樣才能使用戶更能接受和使用MR 界面,實(shí)現(xiàn)實(shí)時(shí)交互、自然交互。
(6)低負(fù)荷性。這里的低負(fù)荷包括用戶的認(rèn)知負(fù)荷和體力負(fù)荷。在混合現(xiàn)實(shí)界面中,不合理的信息呈現(xiàn)方式會(huì)增加用戶的外在認(rèn)知負(fù)荷, 用戶在界面交互過程中盡可能的減少認(rèn)知資源的消耗, 避免不必要的信息跨層和跨域搜索,以提高混合現(xiàn)實(shí)系統(tǒng)的人機(jī)交互效率。界面信息的設(shè)計(jì)還要符合用戶的經(jīng)驗(yàn)和認(rèn)知習(xí)慣, 讓界面設(shè)計(jì)去適應(yīng)人,減輕用戶的內(nèi)在認(rèn)知負(fù)荷。 另外,有些混合現(xiàn)實(shí)場(chǎng)景的實(shí)現(xiàn)還需依托一些穿戴設(shè)備, 會(huì)造成一定的生理負(fù)荷,在界面交互方式上也要盡量減輕用戶的生理負(fù)擔(dān)。
混合現(xiàn)實(shí)技術(shù)已經(jīng)廣泛應(yīng)用于各個(gè)領(lǐng)域, 但是研究的重點(diǎn)主要集中于技術(shù)層面, 很少關(guān)注混合現(xiàn)實(shí)交互界面設(shè)計(jì)研究。文章以混合現(xiàn)實(shí)交互界面為對(duì)象,結(jié)合混合現(xiàn)實(shí)相關(guān)研究及已有界面設(shè)計(jì)基礎(chǔ), 針對(duì)混合現(xiàn)實(shí)界面特點(diǎn),提出六點(diǎn)混合現(xiàn)實(shí)界面設(shè)計(jì)原則。雖然硬件設(shè)備與交互技術(shù)會(huì)導(dǎo)致不同的MR 系統(tǒng)界面有所差異, 但是在界面和交互方面還是具有一些相同的特性, 在研究具體的MR 界面信息呈現(xiàn)方式和界面設(shè)計(jì)時(shí),較為通用的MR界面設(shè)計(jì)原則可為具體MR 界面設(shè)計(jì)提供一定的參考和借鑒。