孫 輝，呂 健，寸文哲

?

VR系統(tǒng)信息可視化模型

孫 輝，呂 健，寸文哲

(貴州大學現(xiàn)代制造技術(shù)教育部重點實驗室，貴州 貴陽 550025)

針對虛擬環(huán)境中用戶認知負荷較重和資源分配不協(xié)調(diào)問題，綜合分析了人腦認知活動中信息的顯性化表達，提出一種基于分布式認知的信息可視化資源模型。通過計算機感知虛擬環(huán)境中用戶動作、行為、任務等信息，依據(jù)資源分配方案確定資源和信息之間映射關(guān)系，并以信息表象的形式貯存；通過對信息表象進一步精致化，實現(xiàn)交互界面視覺元素的優(yōu)化布局；本文結(jié)合眼動追蹤設備對VR系統(tǒng)原型進行可用性評估實驗，實驗結(jié)果表明該可視化模型能夠降低用戶認知負荷，改善用戶體驗。

分布式認知；信息可視化；虛擬現(xiàn)實；資源模型；人機交互

目前，以信息感知、資源匹配、信息顯性化表達為特征的信息表征方法在設計相關(guān)領域得到廣泛研究與應用，特別是在工業(yè)產(chǎn)品展示、3D虛擬教學、文化藝術(shù)品體驗等相關(guān)領域，信息表征由二維屏幕逐漸過渡到三維虛擬現(xiàn)實(virtualreality, VR)中。分布式認知是由認知心理學發(fā)展而來的一種新的認知概念，綜合考慮人、計算機、環(huán)境在認知活動中的影響，建立人機交互過程中用戶動作和計算機資源之間的聯(lián)系，為人機交互領域提供一種新的認知范式。分布式系統(tǒng)描述內(nèi)部和外部表征信息的交換和融合，探究了人與技術(shù)，人與人之間的認知分布，是對表征信息進行加工處理的過程[1]。在人機交互領域研究中，人的認知活動在考慮認知主體(人腦)之外，同時還要考慮認知發(fā)生的環(huán)境、外部媒介、外部工具等認知客體對認知活動的影響。

LEE和ELLIS[2]提出一種人機交互系統(tǒng)，用于融合增強現(xiàn)實(augmented reality, AR)技術(shù)和用戶的操作行為，利用傳感器結(jié)合AR視圖，協(xié)助用戶實現(xiàn)任務目標。LI和DUH[3]從用戶體驗的角度分析了AR中用戶交互行為和認知之間關(guān)系，重點關(guān)注交互活動中信息表征、行為互動、經(jīng)驗分享3方面對虛擬環(huán)境認識功能的影響。HARRISON[4]提出一種基于信息資源概念的交互式建模新方法，結(jié)合信息資源模型分析分布式認知與人機交互建模的關(guān)系，將基于單用戶系統(tǒng)的分布式認知分析擴展為更為適合的大型分析單元，并將行為資源作為人機交互活動的核心。RAJKOMAR等[5]探究了時間對于分布式認知系統(tǒng)的影響，將時間連續(xù)體作為認知過程的外部媒介，允許用戶利用預期記憶對任務順序、持續(xù)時間等進行配置，降低用戶認知工作的復雜性。程時偉和孫守遷[6]綜合分析認知過程中的內(nèi)外表征，提出一種資源模型用于信息結(jié)構(gòu)定義和信息資源組織，實現(xiàn)認知的外部化和表面化。

從VR和分布式認知相關(guān)研究來看，國外VR技術(shù)更多應用在工業(yè)仿真、醫(yī)學、未來虛擬等方面，研究重點在于用戶界面、感知信息、用戶體驗及軟件系統(tǒng)設計等方面。分布式認知強調(diào)的是認知過程中，認知主體和認知客體、環(huán)境之間的映射關(guān)系，通過構(gòu)建認知資源模型實現(xiàn)交互過程中信息框架構(gòu)建和交互策略定義。分布式認知概念多應用與教育教學、VR、協(xié)作學習系統(tǒng)等領域，在虛擬環(huán)境應用方面強調(diào)環(huán)境中交互性學習，認知共同體構(gòu)建等概念，著重對其功能實現(xiàn)、場景規(guī)劃、虛擬教學等方面進行深入研究。

1 信息可視化資源模型

1.1 模型結(jié)構(gòu)

在心理學中，資源(Resource)是提供給處理過程的一定數(shù)量的信息[7]。本文將資源模型定義為在產(chǎn)品使用過程中，指導計算機識別信息并做出相應反饋的信息集合。模型使用任務、歷史、長期傾向、偏愛、供給、精致化6種資源來描述計算機認知模型。

(1) 任務(Task)。定義計算機信息表征實現(xiàn)的最終目標，是計算機在歷史、供給等相應資源配合下指導動作的決策，認知過程中任務指令被解析為不同子任務，即

(2) 歷史(History)。在人機交互過程中，描述事件發(fā)生時相對應的動作、環(huán)境及計算機資源，是一系列事件和相應動作、環(huán)境的組集，即

(4) 偏愛(Bias)。本文定義偏愛[8]的概念為人腦依據(jù)用戶自身認知模式對表征信息作出傾向性選擇。

(5) 供給(Affordance)[9-10]本文指人用推理的方式使用工具，描述了用戶和環(huán)境之間的操作屬性。在交互過程中，計算機依據(jù)歷史資源判斷可能出現(xiàn)的下一步動作和由長期傾向直接觸發(fā)的動作集合，即

(6) 精致化(Elaboration)。在認知過程中，人腦聯(lián)結(jié)表象信息并對其作出標識或解釋。在整個交互活動中，多個表象信息聯(lián)結(jié)構(gòu)成背景，單個表象信息在多個相似表象的基礎上進一步被豐富，該過程為

1.2 交互策略

基于分布式認知資源模型分析用戶認知行為，結(jié)合當前操作情境、技術(shù)、用戶習慣構(gòu)建信息認知資源模型，該模型由信息結(jié)構(gòu)和信息交互策略兩部分組成。其信息交互策略包括任務解析、資源配置、表象精致化、信息表征和反饋評估5個部分，如圖1所示。

圖1 資源模型交互策略

(1) 任務解析。其是資源模型實現(xiàn)信息表征的早期階段，計算機感知用戶任務、行為、動作，依據(jù)歷史資源匹配相關(guān)計算機資源并以信息表象的形式貯存。該策略是一個動態(tài)過程，強調(diào)的是用戶任務、使用情境以及信息分類貯存之間的映射關(guān)系，如圖2所示。

(2) 資源配置。資源配置描述在計算機認知過程中，依據(jù)資源分配方案對信息進行篩選并轉(zhuǎn)化為目標表象的過程。計算機依據(jù)供給資源對目標表象進行相似度計算，選取相似度較高的表象信息進行精致化處理，若有長期傾向事件發(fā)生則直接轉(zhuǎn)化為表象信息進行精致化，剩余信息表象衰減，其過程如圖3所示。

(3) 表象精致化。其策略是在資源匹配基礎上，表象信息在環(huán)境、色彩、紋理等方面被進一步豐富，其表征過程如圖4所示。

圖2 目標解析

(4) 信息表征。描述在計算機認知過程中，經(jīng)過一系列信息感知、解析、判斷、匹配、精致化以后，將供給中的若干預測動作最終在視覺層面上表征給用戶。

(5) 反饋評估。用戶依據(jù)表征信息完成操作動作，在交互活動中用戶最終行為和計算機的預測動作不一定一致。若表征信息被用戶選擇，則任務完成進入下一步認知過程。否則，信息表征失敗，針對用戶操作行為進行解析并反饋給計算機進入歷史資源、表象資源、供給資源中為下次信息表征做準備。

1.3 基于分布式認知的資源模型

基于分布式認知的信息可視化資源模型研究是在人機交互過程中，計算機獲取資源的方式以及人的認知行為對信息表征產(chǎn)生的動態(tài)影響[11]。該模型使用任務、歷史、偏愛、長期傾向、精致化、供給等認知資源描述計算機信息表征過程，用于替代人腦對相關(guān)信息的認知。圖5給出在人機交互過程中資源模型的具體結(jié)構(gòu)及認知方式。

圖4 表象精致化過程

圖5 資源模型結(jié)構(gòu)

2 VR體驗系統(tǒng)信息可視化過程

2.1 信息可視化模型結(jié)構(gòu)

信息可視化是多學科融合領域，側(cè)重于非數(shù)值信息資源的視覺呈現(xiàn)。在編碼數(shù)據(jù)對象轉(zhuǎn)化為可視形態(tài)的過程中，用戶需將抽象的數(shù)據(jù)轉(zhuǎn)化為可視化的形態(tài)，該過程是信息由抽象形態(tài)到可視形態(tài)映射關(guān)系的表征[12]。由于人腦認知方式和信息處理方法的不同，計算機感知用戶的動作信息并轉(zhuǎn)換為可編碼數(shù)據(jù)，以人腦容易認知的方式表征出來[13]。圖6為VR體驗系統(tǒng)信息可視化模型。

本文選取View-VR系統(tǒng)中，旋轉(zhuǎn)指令的發(fā)生事件作為表征案例，描述該發(fā)生事件的表征全過程。旋轉(zhuǎn)指令事件的表征過程可分為信息感知層、信息加工層、信息精致化層和信息表征層，其過程如圖6(a)所示，交互事件表征如圖6(b)所示，其表征結(jié)構(gòu)如下：

(1) 交互事件任務。旋轉(zhuǎn)機械手臂90°。

(2) 歷史。用戶過去執(zhí)行旋轉(zhuǎn)指令的路徑及匹配的計算機資源等。

(3) 長期傾向。系統(tǒng)正常運作過程中，旋轉(zhuǎn)事件發(fā)生，計算機停止運行事件轉(zhuǎn)向執(zhí)行旋轉(zhuǎn)事件。

(4) 偏愛。用戶依據(jù)計算機表征的菜單界面信息，觸發(fā)旋轉(zhuǎn)事件。

(5) 精致化。計算機計算用戶歷史路徑，將要表征的旋轉(zhuǎn)指令信息依據(jù)當前環(huán)境在色彩、色相、透明度等方面表征信息為黑色宋體、白底，如圖7所示。

圖6 View-VR資源模型結(jié)構(gòu)

圖7 View-VR虛擬環(huán)境

在該事件的表征過程中，計算機感知獲取用戶信息：空間位置、操作動作、界面信息、按鍵指令?；谫Y源配置策略建立用戶信息與計算機資源()之間的映射關(guān)系，完善信息加工過程?；诒硐髱煸诓煌J知層面的歷史記錄，針對目標表象在色彩、紋理、明度、可操作性環(huán)境等方面重新豐富，進行信息表征[14]。當計算機依據(jù)流程完成可用性評測，即在認知層面上結(jié)束了一個信息表征的全過程。

文中View-VR系統(tǒng)的交互開發(fā)由Unreal Engine 4引擎和3DS MAX軟件設計完成。Unreal Engine 4作為VR開發(fā)環(huán)境，支持藍圖和C++語言實現(xiàn)對虛擬情境中二維或是三維對象進行編輯，實現(xiàn)虛擬情境下界面交互、情境構(gòu)建、操作行為定義等。View-VR為煙草分揀體驗系統(tǒng)，能夠在最短時間內(nèi)將條煙按照種類、用戶、儲位等進行快速準確的分類。該分揀系統(tǒng)由分揀設備模型庫和虛擬環(huán)境兩部分組成，模型庫負責提供分揀設備三維虛擬模型，虛擬環(huán)境實現(xiàn)分揀系統(tǒng)組裝并對分揀線進行仿真分析。View-VR系統(tǒng)界面如圖7所示，本文將結(jié)合交互策略進行描述。

2.2 模型交互策略

本文以View-VR系統(tǒng)中機械臂旋轉(zhuǎn)命令為例，其任務解析表征為

(2) 資源配置。計算機整合相關(guān)資源并計算供給用戶行路徑與歷史路徑的相似性，選擇相似性較高的3個操作路徑作為目標表象，其他非相關(guān)感知信息和計算機資源全部衰減。結(jié)合可拓認知過程將資源重組分為3個階段，任務解析階段、功能結(jié)構(gòu)映射階段、供給匹配階段，如圖8所示。

(：物元機械臂；：物元的執(zhí)行事件；：收斂后最佳路徑；：物元當前狀態(tài)；：物元的映射關(guān)系；：子任務)

(3) 表象精致化。其是計算機依據(jù)人腦認知過程對形成的目標表象在色彩、紋理、等級、尺寸、色相、亮度和飽和度等方面進一步豐富，引起人腦潛意識的認知以加強對當前表象的理解。依據(jù)可拓設計學知識，其過程表征如圖9所示。

圖9 表象信息元網(wǎng)絡圖

(4) 信息表征。計算機在完成信息感知和任務解析的基礎上，對形成的信息表象進行精致化并完成信息表征任務。如圖10所示，用戶旋轉(zhuǎn)指令下計算機的表征信息。

圖10 VR環(huán)境中交互過程

用戶選中機械臂模型，系統(tǒng)顯示該模型信息并顯示旋轉(zhuǎn)、移除、移動3個預測動作。選中旋轉(zhuǎn)指令設備模型出現(xiàn)旋轉(zhuǎn)軸并顯示縮放、色彩、選項二級預測動作，用戶控制器離開操作面板相關(guān)信息消失，表征如圖10所示。

3 可用性評測

計算機基于信息可視化模型完成信息表征后，用戶完成操作動作。若表征信息滿足用戶下一動作且操作完成則說明信息表征成功，相關(guān)操作歷史進入歷史庫，否則，信息表征失敗，計算機將用戶正確操作路徑存儲至歷史和供給中。

本文使用眼動追蹤系統(tǒng)對View-VR系統(tǒng)信息表征界面進行眼動追蹤實驗，評估虛擬環(huán)境下表征信息的可用性，用以完善View-VR系統(tǒng)。由于評估目標為基于信息可視化模型構(gòu)建的View-VR系統(tǒng)界面對用戶使用效率的影響，固選取Gravity VR、Vive home和View-VR系統(tǒng)的操作過程完成實驗。

3.1 被試

參與本次實驗的被試者總計共30人，其中16名男性、14名女性，被試均沒有使用VR軟件的經(jīng)歷。

3.2 實驗設備

實驗設備采用心拓英啟科技公司的背帶式EyeSo Ec60遙測式眼動儀，該設備采用60 Hz采樣率調(diào)節(jié)9點定標設定，采樣精度為0.5°?？刹杉褂谜叩膭幼鬟^程，并對過程進行注視時間和注視數(shù)目的分析，該過程由分析軟件EyeSo Studio完成對相應數(shù)據(jù)的處理。

3.3 實驗任務

測驗用戶依據(jù)實驗任務進行相關(guān)操作，實驗任務為選中機械手臂從上部移動到下部，然后將其縮小。

3.4 評價指標

(1) 注視時間。指完成實驗任務過程中被試在系統(tǒng)界面停留的時間，主要是獲取當前視點及邊緣視野的信息，這種注視主要用來感知相關(guān)信息并對其進行加工。時間越長說明被試感知信息越困難，反之則說明信息感知較為容易且效率更高[15]。

(2) 注視點數(shù)。指被試完成實驗任務過程中被試在界面注視點的數(shù)量。注視點數(shù)越多說明被試效率越低，反之則說明效率越高[16]。

3.5 實驗過程

(1) 實驗人員準備實驗設備、實驗環(huán)境等。

(2) 被試了解相關(guān)任務操作熟悉操作環(huán)境。

(3) 被試依據(jù)實驗任務進行相關(guān)操作。

3.6 實驗數(shù)據(jù)分析

本次實驗采用SPSS軟件對實驗數(shù)據(jù)進行分析。SPSS是一款提供數(shù)據(jù)統(tǒng)計與服務解決方案的軟件，具有數(shù)據(jù)輸入、編輯、統(tǒng)計分析、圖形制作等功能，能夠?qū)崿F(xiàn)數(shù)據(jù)的探索分析、雙因數(shù)多元方差分析、多元回歸分析等功能。本次實驗使用SPSS軟件完成被試注視時間和注視數(shù)目數(shù)據(jù)的單因素方差分析，結(jié)果如下。

表1描述Gravity VR、Vive home和View VR的注視時間和注視數(shù)目的平均值、標準差、標準差與平均數(shù)的標準誤差。被試在Gravity VR、Vive home和View VR的注視時間平均值為639.075、555.705、439.705。標準差分別為10.110、153.450、115.267。由表1可知，View VR的注視時間和注視數(shù)目值均高于其他2個VR系統(tǒng)。說明操作View VR系統(tǒng)花費的時間和精力明顯少于傳統(tǒng)的Gravity VR和Vive home軟件。

表2為3種不同VR系統(tǒng)的注視時間的方差分析結(jié)果，3種VR系統(tǒng)的注視時間進行對比，其顯著性值為0.00，=0.000<0.05，達到顯著水平，表明在注視時間上Gravity VR、Vive home和View VR具有顯著相關(guān)性。

表1 3種不同VR系統(tǒng)的統(tǒng)計數(shù)據(jù)描述

表2 3種不同VR系統(tǒng)的單因素方差分析

表3為Gravity VR、Vive home和View VR的多重比較輸出結(jié)果，共分為方差齊與方差不齊兩部分，LSD描述方差齊性時的多重比較結(jié)果，Tamhane為方差不齊時的多重比較結(jié)果。本文綜合考慮方差齊與不齊的情況，依據(jù)表中所示的顯著性(帶*號標識)，推斷在0.05的顯著性水平下。其中，Gravity VR關(guān)于Vive home的顯著性為0.042，Gravity VR關(guān)于View VR的顯著性為0.000，View VR關(guān)于Vive home的顯著性為0.005，3種VR設備間的<0.05，表明Gravity VR與Vive home、Gravity VR與View VR比較時，注視時間的均值有顯著差異。

圖11為被試在Gravity VR、Vive home和View VR 3種VR系統(tǒng)與注視時間平均值。通過觀察可知，各組均值的分布于多重比較的結(jié)果一致。被試在Gravity VR、Vive home軟件中花費的平均時間大于在View VR系統(tǒng)中花費的注視時間，表明View VR系統(tǒng)相對于Gravity VR、Vive home操作效能更高。

表3 平均注視時間多重比較

圖11 3種不同VR系統(tǒng)與注視時間平均值

如圖12~14所示，分別為被試在Gravity VR、View VR和View VR中的注視熱點圖，圖中熱區(qū)彩虹圖表示被試凝視時間的多少。圖中黃色、紅色所示為被試的凝視焦點。被試的注視點主要集中在操作者的動作路徑處，圖12中被試主要關(guān)注系統(tǒng)的操作交互過程及操作面板中；圖13~14多集中與操作者的交互路徑中。

4 結(jié)束語

本文討論了分布式認知在VR情境下用戶體驗設計中的應用，通過引入資源模型的方式完成系統(tǒng)信息可視化過程。針對虛擬情境下用戶認知負荷加重的問題，本文提出一種基于分布式認知的資源模型，依照資源模型構(gòu)建信息結(jié)構(gòu)和交互策略，將該模型應用到View-VR VR系統(tǒng)。該模型針對信息表征問題，首先解析任務構(gòu)建子任務和計算機資源之間的映射關(guān)系，其次基于資源匹配方案減少信息表象，依據(jù)供給對信息表象重新豐富，完成表象精致化過程并應用到虛擬情境中。

圖12 Gravity VR熱點圖

圖13 View VR熱點圖

圖14 Vive home VR熱點圖

本文下一步將針對虛擬情境中手勢動作、語音、眼動等多維情境下用戶體驗相關(guān)問題進行研究。結(jié)合眼動追蹤設備和動作捕捉設備研究物理情境中用戶行為、動作的社會意義和文化內(nèi)涵，并應用到虛擬情境中。

[1] CáRDENAS-GARCíA J F. Distributed cognition: an ectoderm-centric perspective [J]. Biosemiotics, 2013, 6(3): 337-350.

[2] LEE S, ELLIS R D. Development and human factors analysis of an augmented reality interface for multi-robot tele-operation and control [J]. Proceedings of Spie, 2012, 8387: 22.

[3] LI N, DUH B L. Cognitive issues in mobile augmented reality: an embodied perspective [J]. Human Factors in Augmented Reality Environments, 2013, 11(5): 109-135.

[4] HARRISON M D. Analyzing human-computer interaction as distributed cognition: the resources model [J]. Human-Computer Interaction, 2000, 15(1): 1-41.

[5] RAJKOMAR A, BLANDFORD A, MAYER A. Coping with complexity in home hemodialysis: a fresh perspective on time as a medium of distributed cognition [J]. Cognition Technology & Work, 2014, 16(3): 337-348.

[6] 程時偉, 孫守遷. 基于分布式認知的人機交互資源模型[J]. 計算機集成制造系統(tǒng), 2008, 14(9): 1683-1689.

[7] 王常青, 鄧昌智, 馬翠霞, 等. 基于分布式認知理論的擴展資源模型[J]. 軟件學報, 2005, 16(10): 1717-1725.

[8] VERSCHAFFEL L. Use of external representations in reasoning and problem solving: analysis and improvement [J]. National Acad Sciences, 2010: 108(5): 824-826.

[9] OVERHILL H J J. A survey of terminology and a proposed extension of the theory of affordances [J]. Proceedings of the American Society for Information Science & Technology, 2012: 49(1): 1-4.

[10] STAHL B, DIEPOLD KJ, POHL J, et al. Modeling cyclic interactions within a production environment using transition adaptive recurrent fuzzy systems [J]. IFAC Proceedings, 2013, 46(9): 1979-1984.

[11] 林一, 陳靖, 周琪, 等. 移動增強現(xiàn)實瀏覽器的信息可視化和交互式設計[J]. 計算機輔助設計與圖形學學報, 2015(2): 320-329.

[12] LIVINGSTON M A. Issues in human factors evaluations of augmented reality systems [M]. Berlin: Springer, 2013: 3-9.

[13] HUSSAIN M S, CALVO R A, CHEN F. Automatic cognitive load detection from face, physiology, task performance and fusion during affective interference [J]. Interacting with Computers, 2014, 26(3): 256-268.

[14] JOHNSON J. Designing with the mind in mind: simple guide to understanding UI design rules [J]. Morgan Kaufmann, 2014, 58(3): 247.

[15] STRANDVALL T. Eye tracking in human-computer interaction and usability research [M]. Berlin: Springer, 2009: 35-52.

[16] 程時偉, 孫志強. 用于移動設備人機交互的眼動跟蹤方法[J]. 計算機輔助設計與圖形學學報, 2014, 26(8): 1354-1361.

VR System Information Visualization Model Cognition

SUN Hui, LV Jian, CUN Wenzhe

(Key Laboratory of Advanced Manufacturing Technology, Ministry of Education, Guizhou University, Guiyang Guizhou 550025, China)

An information visualization resource model based on distributed cognition was proposed to solve the unequal user cognitive load and resource allation problem in virtual environment, with the analysis of information explicit expression in human brain cognitive activities. The system obtains user action, behavior, task and other information in virtual environment based on the computer-aware technology. Resource allocation scheme was used to optimize the mapping between resource and information, and stored in the form of information imagery. The information imagery was riched by imagery library to optimize the visual elements of interactive interface. The usability evaluation experiment about virtual reality system prototype were carried out on eye tracking equipment. The experimental results demonstrate that the visualization resource model is realized to decrease user’s cognitive burden and improves user experience.

distributed cognition; information visualization; virtual reality; resource model; human-computer interaction

TP 391

10.11996/JG.j.2095-302X.2018020317

A

2095-302X(2018)02-0317-10

2017-08-27；

2017-12-20

國家科技支撐計劃項目(2014BAH05F01)；貴州省科技項目(重大專項字[2015]6008，[2015]6014，LH字[2016]7467，JYSZ字[2014]004， J字[2015] 2043，LH字[2014]7644，黔科合支撐[2016]2327，貴大(2016)12)；貴州大學研究生創(chuàng)新基金項目(2017038，2017040)

孫 輝(1990-)，男，山東滕州人，碩士研究生。主要研究方向為信息與交互設計。E-mail：61019@163.com

呂 健(1983-)，男，河北保定人，副教授，博士。主要研究方向為認知設計、交互設計。E-mail：305515940@qq.com