王 松，劉 亮，蔡 婷，趙韋鑫，吳亞東

沉浸式所觸即所得網(wǎng)絡(luò)可視分析方法

王 松1，劉 亮1，蔡 婷1，趙韋鑫1，吳亞東2

(1. 西南科技大學(xué)計算機科學(xué)與技術(shù)學(xué)院，四川 綿陽 621000；2. 四川輕化工大學(xué)計算機科學(xué)與工程學(xué)院，四川 自貢 643000)

沉浸式網(wǎng)絡(luò)可視化在空間沉浸、用戶參與、多維感知等方面具有天然的優(yōu)勢。受用戶與日常物體交互方式所啟發(fā)，基于所觸即所得(WYTIWYG)的理念提出一種沉浸式網(wǎng)絡(luò)可視分析方法來挖掘網(wǎng)絡(luò)特征和關(guān)聯(lián)模式。首先提出手勢舒適度評估模型來指導(dǎo)手勢動作設(shè)計，并引入窗口狀態(tài)模型來優(yōu)化手勢識別穩(wěn)定性。此外，將網(wǎng)絡(luò)分析交互需求與手勢動作語義綁定，定義沉浸式網(wǎng)絡(luò)手勢交互范式。與真實世界中抓取交互類似，用戶可利用自然交互手勢在沉浸式環(huán)境下執(zhí)行移動、高亮、布局維度變換、邊綁定等操作。最后，案例研究驗證了方法的有效性。

沉浸式網(wǎng)絡(luò)；WYTIWYG；手勢舒適度模型；交互范式；網(wǎng)絡(luò)布局

在虛實融合不斷深入的趨勢下，以虛擬現(xiàn)實、數(shù)字孿生、區(qū)塊鏈等技術(shù)為基礎(chǔ)的元宇宙爆發(fā)出超乎想象的生機與活力。在元宇宙的熱潮下，美國著名互聯(lián)網(wǎng)社交巨頭Facebook正式宣布改名為“Meta”，旨在打造一個能無縫穿越、虛實融合的新一代主流社群平臺。沉浸式分析(immersive analytics，IA)作為一個新興的研究領(lǐng)域，即使用沉浸式技術(shù)創(chuàng)造更吸引人的沉浸式體驗和無縫工作流來支持?jǐn)?shù)據(jù)理解和決策制定[1]。近年來，除了洞穴式虛擬環(huán)境(cave automatic virtual environment，CAVE)[2]環(huán)境和大型壁掛式顯示器[3]等昂貴的設(shè)備外，各種消費級頭戴式虛擬現(xiàn)實(virtual reality，VR)和增強現(xiàn)實(augmented reality，AR)設(shè)備也涌現(xiàn)出來，這些設(shè)備為沉浸式網(wǎng)絡(luò)可視分析提供了更多潛能。

IA與網(wǎng)絡(luò)結(jié)構(gòu)可視化的結(jié)合，充分體現(xiàn)將網(wǎng)絡(luò)分析由傳統(tǒng)二維屏幕向VR環(huán)境轉(zhuǎn)移的創(chuàng)新性探索。WARE和FRANCK[4]進行的用戶研究和KOTLAREK等[5]設(shè)計的心理映射質(zhì)量評估均證明在沉浸式環(huán)境下分析網(wǎng)絡(luò)結(jié)構(gòu)有助于感知網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)特征。KWON等[6]提出一種以自我為中心的球形布局并進一步關(guān)注網(wǎng)絡(luò)可視化在沉浸式VR環(huán)境中的應(yīng)用，提出了沉浸式環(huán)境下網(wǎng)絡(luò)布局、呈現(xiàn)和渲染方面的建議。交互技術(shù)作為IA中的關(guān)鍵技術(shù)，需要支持用戶完成編碼、過濾等基本任務(wù)，同時又不能打破沉浸感。WANG等[7]提出一種基于所見即所得理念的手勢交互方法，通過手勢動作直接對體繪制結(jié)果的顏色、飽和度等光學(xué)屬性進行調(diào)整。PIUMSOMBOON等[8]基于用戶對手勢的偏好，利用手勢之間的一致性，創(chuàng)建了AR場景下用戶自定義的手勢集。HUANG等[9]設(shè)計了8種針對圖形可視化的交互手勢，允許用戶在VR環(huán)境下與圖形可視化進行交互。雷金樹等[10]提出基于游標(biāo)模型的非接觸式的自然手勢交互方法，并定義了4種沉浸式醫(yī)學(xué)可視化中非接觸式手勢交互操作。盡管沉浸式網(wǎng)絡(luò)分析所需顯示技術(shù)和交互技術(shù)已經(jīng)存在，但如何設(shè)計合適的視覺表達和人機交互方式仍然缺乏基本的理論知識和技術(shù)支撐。

結(jié)合當(dāng)前人機交互的基本理論和IA的應(yīng)用要求，優(yōu)秀的沉浸式交互技術(shù)需要維持沉浸式體驗、支持直接操作以及最小化交互動作負(fù)擔(dān)[11]?；诖?，本文提出一種基于所觸即所得(what you touch is what you get，WYTIWYG)理念的沉浸式網(wǎng)絡(luò)可視分析方法來挖掘網(wǎng)絡(luò)特征和關(guān)聯(lián)模式。

1 沉浸式WYTISYG網(wǎng)絡(luò)可視化框架

在沉浸式環(huán)境中，可見場景被安排在用戶的視點周圍。基于深度線索、頭部跟蹤、手勢跟蹤等多感官條件，用戶可利用自然直觀的交互方式進行沉浸式網(wǎng)絡(luò)結(jié)構(gòu)可視分析工作。沉浸式WYTISYG網(wǎng)絡(luò)可視化框架如圖1所示，其包含一個緊密耦合的呈現(xiàn)和交互循環(huán)，允許用戶挖掘網(wǎng)絡(luò)特征和關(guān)聯(lián)模式或只是享受網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)數(shù)據(jù)探索過程。在沉浸式環(huán)境中，利用空間坐標(biāo)變換將網(wǎng)絡(luò)數(shù)據(jù)映射到頭戴式VR設(shè)備(Oculus Rift)構(gòu)建的三維虛擬空間中，利用手勢識別傳感器(Leap Motion)捕獲手勢動作，從而在沉浸環(huán)境下探索分析網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)。

圖1 觸即所得沉浸式網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)可視分析框架

1.1 沉浸式網(wǎng)絡(luò)交互任務(wù)

AMAR等[12]提出了信息可視化基本視覺分析任務(wù)類型，包括檢索值、過濾、計算值、找到極值等。依據(jù)基本視覺分析任務(wù)類型，沉浸式網(wǎng)絡(luò)可視化中常見的任務(wù)可分為基于拓?fù)浣Y(jié)構(gòu)、基于屬性、瀏覽任務(wù)和概覽任務(wù)[13]。基于拓?fù)浣Y(jié)構(gòu)的任務(wù)包含鄰接關(guān)系分析、可達性分析、連通性分析等?；趯傩缘娜蝿?wù)包含節(jié)點和邊屬性分析。瀏覽任務(wù)主要包含路徑跟蹤和回溯分析。概覽是一個復(fù)合的探索性任務(wù)，全局概覽使得基于拓?fù)涞娜蝿?wù)可以很快完成。

結(jié)合上述4類分析任務(wù)，以SHNEIDERMAN[14]提出的視覺信息搜尋原則“Overview first，zoom and filter，then details-on-demand”為指導(dǎo)，本文將沉浸式網(wǎng)絡(luò)中應(yīng)具備的交互方式分為3種類別，即通用交互、特定交互以及輔助性交互，見表1。

表1 沉浸式網(wǎng)絡(luò)可視分析任務(wù)

1.2 手勢動作定義

1.2.1 手勢舒適度評估模型

隨著VR手柄、數(shù)據(jù)手套等手勢輸入設(shè)備的興起，手勢交互已成為人機交互領(lǐng)域的熱點。根據(jù)REMY等[15]提供的評估指導(dǎo)準(zhǔn)則，結(jié)合當(dāng)前人機交互領(lǐng)域中運動軌跡測量法和心理舒適度測量法，提出舒適度評估模型來設(shè)計交互手勢。

心理舒適度。主觀等級評定法可評估參與者主觀心理狀態(tài)，以獲得用戶定量或定性的見解。本文在手勢評估時采用5等級李克特量表來記錄使用者的心理狀態(tài)，圍繞動作流暢度、舒適度等主觀因素設(shè)置問卷，最后進行標(biāo)準(zhǔn)化處理

1.2.2 WYTIWYG手勢交互范式

結(jié)合可視化交互原語[16]與1.1節(jié)中總結(jié)的沉浸式網(wǎng)絡(luò)交互任務(wù)，從手勢庫中選取了單手“捏”、雙手“捏”等手勢動作。單手“捏”：右手拇指和食指捏住節(jié)點或邊并向一定方向移動時，目標(biāo)空間屬性將隨手勢軌跡變化而變化。雙手“捏”：與單手“捏”類似，左手和右手拇指和食指呈“捏”狀態(tài)且其他手指彎曲，當(dāng)雙手向相同方向移動時，全局目標(biāo)空間屬性將隨手勢軌跡變化而變化；當(dāng)左右手拇指和食指呈“捏”狀態(tài)且其他手指伸直，當(dāng)雙手向相反方向移動時，全局目標(biāo)尺寸將隨相對距離而變化。總之，不同的手勢動作均以不同的手勢特征定義。

此外，不同的手勢動作附帶的語義信息也不同，在沉浸式網(wǎng)絡(luò)交互動作設(shè)計過程中，需要盡可能地將手勢動作語義與網(wǎng)絡(luò)分析交互任務(wù)進行綁定。本文基于手勢舒適度評估模型，擴展沉浸式環(huán)境中針對網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)的手勢交互方式。以縮放動作為例，對具有縮放語義的手勢動作進行量化評估，根據(jù)評估結(jié)果選取圖2(a)手勢動作為沉浸式網(wǎng)絡(luò)縮放手勢。手勢動作語義與網(wǎng)絡(luò)分析交互任務(wù)進行綁定的結(jié)果如圖3所示。

1.2.3 手勢識別優(yōu)化

從Leap Motion獲得的輸入為連續(xù)幀序列，交互狀態(tài)會頻繁地根據(jù)真實手勢發(fā)生突變，導(dǎo)致復(fù)雜交互功能不能通過樣本匹配來完成。為提高手勢識別準(zhǔn)確性，引入窗口狀態(tài)模型[10]并結(jié)合上下文對手勢狀態(tài)進行預(yù)判。該模型將交互手勢序列中相鄰的3個手勢保存在窗口中，通過手勢語義來確定交互階段。當(dāng)手勢序列更新時，窗口向后滑動更新交互狀態(tài)。如果窗口中的第一個手勢是非交互式手勢，最后2個相同，則將其標(biāo)記為就緒狀態(tài)；如果窗口內(nèi)2個交互手勢相同，則標(biāo)記為執(zhí)行狀態(tài)；如果最后一個與前2個不同，則標(biāo)記為結(jié)束狀態(tài)。

圖2 縮放手勢動作量化評估結(jié)果

((a)=0.933; (b)=0.867; (c)=0.825; (d )=0.625)

圖3 沉浸式網(wǎng)絡(luò)手勢交互范式((a)通用交互；(b)特定交互；(c)輔助性交互)

1.3 維度空間變換拓?fù)洳季纸换?/h3>

為實現(xiàn)對網(wǎng)絡(luò)結(jié)構(gòu)和關(guān)聯(lián)模式的漸進式探索，提出維度空間網(wǎng)絡(luò)拓?fù)洳季址椒?，其將一維、二維和三維布局整合到沉浸式環(huán)境。基于社區(qū)的維度空間布局的變換過程如圖4所示，主要包括社團劃分、基于力導(dǎo)向算法的超節(jié)點初始布局以及維度空間變換。

其中，Pij為vi和vj的概率模型；m為邊數(shù)量，若vi和vj屬于同一社區(qū)則sisj=1，否則sisj=-1。

1.4 沉浸式三維邊綁定交互

當(dāng)網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜或網(wǎng)絡(luò)規(guī)模較大時，以直線為主的布局方式容易導(dǎo)致視覺混淆、邊緣遮擋等問題。本文將2D力導(dǎo)向邊綁定(force directed edge bundling，F(xiàn)DEB)[18]擴展至3D沉浸式環(huán)境，實現(xiàn)保留網(wǎng)絡(luò)結(jié)構(gòu)特征的邊綁定。如圖5所示，首先將每條邊分段，2點的力為1，3和2之間的相互作用的合力，因此邊和邊之間存在4種相互作用力，即0和0、1和1、2和2以及3和3。對于任意邊上的點e，其受到的合力(e)為e與相鄰2個點e-1和e+1的合力加電荷力的總和，即

其中，ke為作用力參數(shù)；E為除e外所有相互作用邊的集合。此外，在進行邊綁定時，考慮文獻[18]提出的方向、尺寸等兼容性約束條件，如圖6所示。對于連接P和Q的兼容性計算為

圖6 邊綁定約束性條件

2 案例分析

為驗證本文方法在挖掘網(wǎng)絡(luò)特征和探索關(guān)聯(lián)模式有效性，以任務(wù)驅(qū)動為導(dǎo)向，對社交網(wǎng)絡(luò)、腦科學(xué)網(wǎng)絡(luò)2種典型的網(wǎng)絡(luò)數(shù)據(jù)進行探索分析。

2.1 社交網(wǎng)絡(luò)分析

探索日常生活中發(fā)生的社交網(wǎng)絡(luò)和關(guān)系模式是一項有趣的工作，如LIU等[19]從網(wǎng)絡(luò)的角度探索同伴關(guān)系對成績的影響。本文以2013年12月4日法國馬賽某高中學(xué)生間互動數(shù)據(jù)為例，結(jié)合MASTRANDREA等[20]的研究，探索其社交模式。

在探索分析的過程中，可通過交互范式進行相應(yīng)的交互操作，在沉浸式網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)分析中實現(xiàn)WYTIWYG。如圖7(a)所示，將學(xué)生社交網(wǎng)絡(luò)映射到沉浸式環(huán)境中，通過移動(圖3(a5))、縮放(圖3(a6))、旋轉(zhuǎn)(圖3(a7))等交互手勢動作將觀察視點調(diào)整至恰當(dāng)?shù)囊曈X空間范圍，并利用全局邊綁定手勢(圖3(b5))緩解邊雜亂帶來的視覺干擾。通過在沉浸式環(huán)境下利用自然交互手勢進行全方位多角度地進行探索式分析，發(fā)現(xiàn)了學(xué)生之間有趣的幾種社交模式。如圖7(a1)，ID為277的學(xué)生除了與本社區(qū)關(guān)系密切還與其他社區(qū)的學(xué)生進行過多次互動。圖7(a2)中，ID為434的學(xué)生只與本社區(qū)的一個學(xué)生有過互動。圖7(a3)部分學(xué)生在社交網(wǎng)絡(luò)內(nèi)形成了2人及以上的團體。如圖7(a4)所示，ID為450的學(xué)生雖然與本社區(qū)學(xué)生有過互動，但與社區(qū)外的學(xué)生互動更加頻繁。

圖7 沉浸式社交網(wǎng)絡(luò)探索分析(a1～a4展示了4種不同的社交行為模式)

2.2 腦網(wǎng)絡(luò)分析

人類腦網(wǎng)絡(luò)研究是腦科學(xué)研究的核心，對于疾病預(yù)測、基因工程等具有重要意義。結(jié)合YANG等[21]的研究，提出2個分析任務(wù)：任務(wù)一整體對比分析正常與阿爾茨海默病 (Alzheimer disease，AD)患者腦網(wǎng)絡(luò)，定位AD患者異常腦區(qū)；任務(wù)二挖掘正常與AD患者腦網(wǎng)絡(luò)腦區(qū)間關(guān)聯(lián)模式。

(1) 為了保留對腦網(wǎng)絡(luò)結(jié)構(gòu)的感知，暫時保留原有腦區(qū)拓?fù)洳季?。首先利用移?圖3(a5))、縮放(圖3(a6))、旋轉(zhuǎn)(圖3(a7))等通用交互手勢調(diào)整視覺空間最佳觀察視角，整體對比正常人和AD患者腦網(wǎng)絡(luò)結(jié)構(gòu)和腦區(qū)之間關(guān)聯(lián)度，并利用全局邊綁定手勢(圖3(b5))緩解腦區(qū)內(nèi)邊雜亂帶來的視覺干擾。在探索分析的過程中，利用截圖手勢(圖3(c))保存感興趣的結(jié)果。對比正常人腦網(wǎng)絡(luò)(圖8(a))和AD患者腦網(wǎng)絡(luò)(圖8(b)的額葉、頂葉和枕葉，根據(jù)腦區(qū)之間的關(guān)聯(lián)度發(fā)現(xiàn)AD患者的額葉關(guān)聯(lián)度較正常人低。AD患者額葉與頂葉腦區(qū)關(guān)聯(lián)度比正常人低，但枕葉與額葉的關(guān)聯(lián)度卻顯著高于常人。

圖8 正常人與AD患者腦網(wǎng)絡(luò)不同角度對比((a)正常腦網(wǎng)絡(luò)；(b) AD患者腦網(wǎng)絡(luò))

(2) 為進一步挖掘正常及AD患者腦網(wǎng)絡(luò)腦區(qū)關(guān)聯(lián)模式的異同，在沉浸式環(huán)境下利用特定交互手勢動作布局變換(圖3(b6)，圖3(b7)，圖3(b8))將網(wǎng)絡(luò)布局分別轉(zhuǎn)換為一維、二維和三維，并通過邊綁定(圖3(b5))減少視覺干擾，實現(xiàn)在不同維度空間下對腦網(wǎng)絡(luò)的漸進式分析，如圖9所示。從一維布局對比正常腦網(wǎng)絡(luò)(圖9(a1))和AD患者腦網(wǎng)絡(luò)(圖9(b1))，發(fā)現(xiàn)AD患者腦網(wǎng)絡(luò)相較于正常腦網(wǎng)絡(luò)，其社區(qū)之間的關(guān)聯(lián)度整體偏低。二維布局下的正常腦網(wǎng)絡(luò)(圖9(a2))和AD患者腦網(wǎng)絡(luò)(圖9(b2))，可發(fā)現(xiàn)正常人腦網(wǎng)絡(luò)中C1與C4，C6與C4等社區(qū)之間關(guān)聯(lián)度較高，而AD患者腦網(wǎng)絡(luò)中C1與C4，C1與C6等社區(qū)之間關(guān)聯(lián)度低，但C1與C3，C1與C4社區(qū)之間關(guān)聯(lián)度較正常人偏高。對比三維布局下的正常腦網(wǎng)絡(luò)(圖9(a3))和AD患者腦網(wǎng)絡(luò)(圖9(b3))，發(fā)現(xiàn)正常腦網(wǎng)絡(luò)C4和C6社區(qū)活躍度較高，C1和C3社區(qū)活躍度較低，而AD患者腦網(wǎng)絡(luò)則相反。

圖9 正常腦網(wǎng)絡(luò)與AD患者腦網(wǎng)絡(luò)多維度對比((a1，b1)一維結(jié)構(gòu)；(a2，b2)二維結(jié)構(gòu)；(a3，b3)三維結(jié)構(gòu))

3 用戶評估

為進一步驗證本文方法的有效性，邀請了18名參與者(男10名，女8名)進行用戶研究。參與者的平均年齡為25.34歲，其中7名本科生，10名碩士研究生，1名可視化與人機交互領(lǐng)域?qū)＜摇Ｃ课粎⑴c者均熟悉VR的概念，其中12名曾體驗過VR設(shè)備或VR應(yīng)用。此外，每個參與者熟悉復(fù)雜網(wǎng)絡(luò)的基礎(chǔ)理論，其中11人對圖形學(xué)有一定的研究基礎(chǔ)。

3.1 評估任務(wù)

ARCHAMBAULT和PURCHASE[22]將網(wǎng)絡(luò)分析任務(wù)分為3種類型：感知型、記憶型和改變型。為更有效評估本文方法，基于這3種類型任務(wù)，設(shè)計了5個實驗任務(wù)：

(1)識別指定節(jié)點的度。在網(wǎng)絡(luò)結(jié)構(gòu)中給定一個度real≥10的節(jié)點，高亮與該節(jié)點相連的邊。參與者需要通過手勢操作回答該節(jié)點度。

(2)識別指定2個節(jié)點之間的路徑。給定有 2個預(yù)先高亮節(jié)點的網(wǎng)絡(luò)結(jié)構(gòu)，||≥5為節(jié)點間最短路徑長度。參與者需利用手勢交互在2個節(jié)點之間尋找一條路徑，路徑長度為||。

(3)識別指定社區(qū)之間邊數(shù)。給定一個網(wǎng)絡(luò)并用不同的顏色編碼社區(qū)，參與者需要通過手勢交互回答指定2個社團的之間邊數(shù)。

(4)識別網(wǎng)絡(luò)子圖結(jié)構(gòu)。在整個網(wǎng)絡(luò)中指定子圖結(jié)構(gòu)，參與者有20 s時間來記憶該子圖結(jié)構(gòu)。之后改變網(wǎng)絡(luò)的方向和尺寸等屬性，參與者需要在40 s時間內(nèi)找到指定子圖結(jié)構(gòu)。

(5)識別之前高亮的點。參與者需要用30 s時間記憶網(wǎng)絡(luò)中預(yù)先高亮的||個節(jié)點。10 s后將網(wǎng)絡(luò)復(fù)現(xiàn)，但取消之前高亮的節(jié)點，并找出之前被高亮的節(jié)點集合。

3.2 評估流程

3.3 結(jié)果分析

每項任務(wù)的平均完成時間和準(zhǔn)確率如圖10所示，Normal為鼠標(biāo)交互，O-Touch為沉浸式Oculus Touch手柄交互，Hand為本文沉浸式手勢交互。任務(wù)T1，非沉浸式鼠標(biāo)交互用時最短，3種方式在小規(guī)模網(wǎng)絡(luò)下完成準(zhǔn)確率上無明顯區(qū)別，但隨著網(wǎng)絡(luò)規(guī)模的增大，鼠標(biāo)交互的正確率明顯低于沉浸式交互，而在沉浸式手勢交互又比手柄交互略占優(yōu)勢。任務(wù)T2，鼠標(biāo)交互依然最快完成， 3種方式在小規(guī)模網(wǎng)絡(luò)下完成準(zhǔn)確率上無明顯區(qū)別，但在較大規(guī)模網(wǎng)絡(luò)中，鼠標(biāo)交互的正確率卻大打折扣，而沉浸式條件下交互方式表現(xiàn)良好。任務(wù)T3，在小規(guī)模網(wǎng)絡(luò)下3種交互方式的正確率并無明顯差異，但在大規(guī)模網(wǎng)絡(luò)中，手勢交互更占優(yōu)勢。任務(wù)T4，鼠標(biāo)交互更快，但正確率相對較低，而在沉浸式交互中，手勢略占優(yōu)勢。任務(wù)T5，鼠標(biāo)交互最快，且在2種規(guī)模網(wǎng)絡(luò)下的正確率均高于沉浸式交互，沉浸式交互方式稍顯不足。

綜上可知，參與者完成任務(wù)時間與網(wǎng)絡(luò)規(guī)模、任務(wù)難度有關(guān)，而對于完成任務(wù)的正確率則根據(jù)任務(wù)類型存在一定區(qū)別。小規(guī)模網(wǎng)絡(luò)結(jié)構(gòu)簡單，參與者能夠很快得到答案。而在較大規(guī)模網(wǎng)絡(luò)中，網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜，參與者需要進行額外的交互才能完成。根據(jù)評估結(jié)果，本文提出的方法在沉浸式環(huán)境中對于結(jié)構(gòu)感知類任務(wù)更有優(yōu)勢。

圖10 手柄、手勢以及非沉浸式鼠標(biāo)交互實驗結(jié)果對比((a)小規(guī)模網(wǎng)絡(luò)；(b)大規(guī)模網(wǎng)絡(luò))

4 總結(jié)與展望

針對傳統(tǒng)的網(wǎng)絡(luò)布局方式和單通道人機交互方式難以滿足沉浸式網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)分析的需求，本文基于WYTIWYG的理念提出了一種沉浸式網(wǎng)絡(luò)可視分析方法來挖掘網(wǎng)絡(luò)特征和關(guān)聯(lián)模式。用戶可以通過自然直觀的交互手勢執(zhí)行移動、高亮等通用交互操作和網(wǎng)絡(luò)布局維度空間變換、邊綁定等特定交互操作?；贠culus Rift和Leap Motion搭建測試平臺，通過在不同類型的網(wǎng)絡(luò)數(shù)據(jù)集上進行實驗，證明了本文方法對提高網(wǎng)絡(luò)結(jié)構(gòu)感知能力和多維分析能力的意義。

對于未來的工作，將從以下幾個方向改進。①進一步擴展交互范式，基于所觸即所得的理念實現(xiàn)對網(wǎng)絡(luò)進行過濾或篩選；②實現(xiàn)復(fù)雜多元網(wǎng)絡(luò)的沉浸式可視化，并提供針對多元網(wǎng)絡(luò)的交互范式；③針對與大規(guī)模網(wǎng)絡(luò)進行交互導(dǎo)致的手疲勞問題，擬通過CNN對關(guān)節(jié)特征進行分類，根據(jù)手勢特征推測用戶意圖，以緩解手疲勞。

[1] FONNET A, PRIE Y. Survey of immersive analytics[J]. IEEE Transactions on Visualization and Computer Graphics, 2021, 27(3): 2101-2122.

[2] CRUZ-NEIRA C, SANDIN D J, DEFANTI T A, et al. The CAVE: audio visual experience automatic virtual environment[J]. Communications of the ACM, 1992, 35(6): 64-72.

[3] ISENBERG P, DRAGICEVIC P, WILLETT W, et al. Hybrid-image visualization for large viewing environments[J]. IEEE Transactions on Visualization and Computer Graphics, 2013, 19(12): 2346-2355.

[4] WARE C, FRANCK G. Evaluating stereo and motion cues for visualizing information nets in three dimensions[J]. ACM Transactions on Graphics, 1996, 15(2): 121-140.

[5] KOTLAREK J, KWON O H, MA K L, et al. A study of mental maps in immersive network visualization[C]//2020 IEEE Pacific Visualization Symposium. New York: IEEE Press, 2020: 1-10.

[6] KWON O H, MUELDER C, LEE K, et al. A study of layout, rendering, and interaction methods for immersive graph visualization[J]. IEEE Transactions on Visualization and Computer Graphics, 2016, 22(7): 1802-1815.

[7] WANG S, ZHU D, YU H, et al. Immersive WYSIWYG (what You see is what You get) volume visualization[C]//2020 IEEE Pacific Visualization Symposium. New York: IEEE Press, 2020: 166-170.

[8] PIUMSOMBOON T, CLARK A, BILLINGHURST M, et al. User-defined gestures for augmented reality[C]//2013 CHI Extended Abstracts on Human Factors Computer Systems, New York: ACM Press, 2013: 955-960.

[9] HUANG Y J, FUJIWARA T, LIN Y X, et al. A gesture system for graph visualization in virtual reality environments[C]//2017 IEEE Pacific Visualization Symposium. New York: IEEE Press, 2017: 41-45.

[10] 雷金樹, 王松, 朱東, 等. 基于游標(biāo)模型的沉浸式醫(yī)學(xué)可視化非接觸式手勢交互方法[J]. 計算機輔助設(shè)計與圖形學(xué)學(xué)報, 2019, 31(2): 208-217.

LEI J S, WANG S, ZHU D, et al. Title non-contact gesture interaction method based on cursor model in immersive medical visualization[J]. Journal of Computer-Aided Design & Computer Graphics, 2019, 31(2): 208-217 (in Chinese).

[11] ELMQVIST N, MOERE A V, JETTER H C, et al. Fluid interaction for information visualization[J]. Information Visualization, 2011, 10(4): 327-340.

[12] AMAR R, EAGAN J, STASKO J. Low-level components of analytic activity in information visualization[C]//2015 IEEE Symposium on Information Visualization, New York: IEEE Press, 2005: 111-117.

[13] LEE B, PLAISANT C, PARR C, et al. Task taxonomy for graph visualization[C]//2006 AVI Workshop on Beyond Time and Errors: Novel Evaluation Methods for Information Visualization. New York: ACM Press, 2006:1-5.

[14] SHNEIDERMAN B. The eyes have it: a task by data type taxonomy for information visualizations[C]//1996 IEEE Symposium on Visual Languages. New York: IEEE Press, 1996: 336-343.

[15] REMY C, BATES O, MANKOFF J, et al. Evaluating HCI research beyond usability[C]//Extended Abstracts of the 2018 CHI Conference on Human Factors in Computing Systems. New York: ACM Press, 2018: 1-4.

[16] ROTH R E. An empirically-derived taxonomy of interaction primitives for interactive cartography and geovisualization[J]. IEEE Transactions on Visualization and Computer Graphics, 2013, 19(12): 2356-2365.

[17] NEWMAN M E J. Finding community structure in networks using the eigenvectors of matrices[J]. Physical Review E, 2006, 74(3): 036104.

[18] HOLTEN D, VAN WIJK J J. Force-directed edge bundling for graph visualization[J]. Computer Graphics Forum, 2009, 28(3): 983-990.

[19] LIU L, WANG S, CAI T, et al. Visual analytics methods for interactively exploring the campus lifestyle[C]//2021 IEEE 14th Pacific Visualization Symposium. New York: IEEE Press, 2021: 181-185.

[20] MASTRANDREA R, FOURNET J, BARRAT A. Contact patterns in a high school: a comparison between data collected using wearable sensors, contact diaries and friendship surveys[J]. PLoS One, 2015, 10(9): e0136497.

[21] YANG X S, SHI L, DAIANU M, et al. Blockwise human brain network visual comparison using NodeTrix representation[J]. IEEE Transactions on Visualization and Computer Graphics, 2017, 23(1): 181-190.

[22] ARCHAMBAULT D, PURCHASE H C. The “Map” in the mental map: experimental results in dynamic graph drawing[J]. International Journal of Human-Computer Studies, 2013, 71(11): 1044-1055.

Immersive WYTIWYG network visual analytics method

WANG Song1, LIU Liang1, CAI Ting1, ZHAO Wei-xin1, WU Ya-dong2

(1. School of Computer Technology and Science, Southwest University of Science and Technology, Mianyang Sichuan 621000, China; 2. School of Computer Science and Engineering, Sichuan University of Science and Engineering, Zigong Sichuan 643000, China)

Immersive network visualization possesses natural advantages in terms of spatial immersion, user engagement, and multi-dimensional perception. Inspired by users’ interaction with real-world objects, this paper proposed an immersive network visual analytics method to excavate network characteristics and association patterns based on the concept of What You Touch is What You Get (WYTIWYG). Firstly, a gesture comfort evaluation model was proposed to guide the design of gesture action, and a window state model was introduced to optimize the stability of gesture recognition. In addition, based on the binding of network analysis interaction requirements with gesture semantics, an immersive network gesture interaction paradigm was proposed. Similar to how interactions are grasped in the real world, users can employ natural interactive gestures to perform operations such as moving, highlighting, layout dimension transformation, and edge bundling in an immersive environment. Finally, case studies can verify the effectiveness of the proposed method.

immersive graph; WYTIWYG; gesture comfort model; interaction paradigm; network layout

TP 391

10.11996/JG.j.2095-302X.2022030496

A

2095-302X(2022)03-0496-08

2021-11-29；

2021-12-30

29 November，2021；

30 December，2021

國家自然科學(xué)基金項目(61802320，61872304)；西南科技大學(xué)博士基金項目(19zx7144)；西南科技大學(xué)素質(zhì)類教改(青年發(fā)展研究)專項資助項目(20szjg17)

National Natural Science Foundation of China (61802320, 61872304);Ph.D Research Startup Foundation of Southwest University of Science and Technology (19zx7144); The Special fund project of Quality Education Reform (Youth Development Research) of Southwest University of Science and Technology (20szjg17)

王 松(1989-)，男，講師，博士。主要研究方向為數(shù)據(jù)分析與智能交互，包括可視化與可視分析、交通數(shù)據(jù)分析、虛擬現(xiàn)實、混合現(xiàn)實等。E-mail：wangsong@swust.edu.cn

WANG Song (1989-), lecture, Ph.D. His main research interests cover data analytics and intelligent interaction, including visualization and visual analytics, transportation data analytics, virtual reality, mixed reality, etc. E-mail：wangsong@swust.edu.cn