羅保權　邢亞龍

關鍵詞：多模態(tài)理論 意象圖式 數(shù)據(jù)可視化 交互模型 裝置設計

中圖分類號：TP47 文獻標識碼：A

文章編號：1003-0069（2022）01-0048-04

引言

隨著大數(shù)據(jù)與人工智能時代的來臨，數(shù)據(jù)可視化的需求和應用已成為日常生活的基本內容，在信息時代，大數(shù)據(jù)將會如同石油般寶貴的資源。

信息技術的發(fā)展導致海量的數(shù)據(jù)產生，讓數(shù)據(jù)可視化設計的呈現(xiàn)方式與載體都有了更多的可能性，同時也面臨不小的挑戰(zhàn)。單一的媒介與模態(tài)已不能滿足數(shù)據(jù)可視化設計展示的需求，更多的形式不斷涌現(xiàn)，如增強現(xiàn)實AR/虛擬現(xiàn)實VR、多屏幕互動、手機程序、交互裝置等，都提高了其多樣性與復雜性。其中，“交互裝置”是綜合性最強的呈現(xiàn)方式，包含了展示與交互，從多模態(tài)的理論出發(fā)，挖掘數(shù)據(jù)可視化交互裝置設計的潛在價值，創(chuàng)造出令大眾能清晰理解，并能實現(xiàn)交互的可視化裝置設計，成為當下研究的熱點。

一、數(shù)據(jù)可視化的多模態(tài)理論

（一）多模態(tài)的概念

模態(tài)（Modality）指的是交流的渠道和媒介 ，包括語言、技術、圖像、顏色和音樂等符號系統(tǒng)。針對人類的“模態(tài)”，一般指的是“感官”，即視覺、聽覺、觸覺、嗅覺和味覺等五感，同時在設計產品或事件的過程中，或多或少都會運用多種符號資源建構意義，因而產生了多模態(tài)的概念，進而有了多感官融合的設計模型。

最早研究多模態(tài)的是在認知語言學領域，專家在研究時發(fā)現(xiàn)，語言不單單是“語言”本身，人與人之間的交流除了話語以外，同時還包含多種非語言模態(tài)如表情、肢體動作、身體特征、道具設備等。對于“多模態(tài)”概念，早期在社會符號學、教育學中都有大量的研究。國內學者胡鴻等通過多模態(tài)交互理論結合學齡兒童教具設計，得出有多模態(tài)設置的教具更能提升課堂互動性與參與感。國外學者Salway與Martinec則通過新舊媒體表達范式的對比，深入地從多模態(tài)角度分析了圖文關系理論。國內外學者對于多模態(tài)的研究分析基本聚焦在社會符號學以及語言學范疇，這對于交互裝置如何達成與觀眾溝通，實現(xiàn)交互性有一定的理論借鑒意義。

同時，近年來在工程學、自然科學、設計學等領域，越來越多的專家開始關注“多模態(tài)”理論的應用，形成了研究熱點。Andersen 等指出，想讓人們順利地完成計算機的各項功能任務，最好的方式是使用多模態(tài)隱喻的方式去設置功能符號，如垃圾桶隱喻刪除文件、文件夾隱喻管理文件、齒輪隱喻系統(tǒng)設置等，這使得計算機成為非常豐富的多模態(tài)媒體，媒介使用的便捷性與有效性，很大程度是因為媒介符號設計源自于人們的生活經驗與認知基礎。

盡管不同領域對“模態(tài)”的定義與應用存在差別，但本文站在數(shù)據(jù)可視化交互裝置設計的角度，將模態(tài)定義為：人機交互時，裝置設計傳達信息時所呈現(xiàn)的方式，是一種人機交互的媒介狀態(tài)，多模態(tài)就是利用多種感官模態(tài)作為媒介，實現(xiàn)多種人機信息交換的可達性。

（二）意象圖式與多模態(tài)感知

意象圖式作為認知語言學中的重要概念之一，于1980年由美國語言學家馬克·約翰遜與萊考夫率先提出。指人在長期的生活經驗當中，其行為、心智、知覺都存在著一定的規(guī)律模式以及意義圖式，它使人們具備有意義且可認知關聯(lián)的經驗，并能理解以及進行推理學習。

意象圖式是人與環(huán)境反復交互經驗下，日積月累形成的抽象認知結構，其圖式決定了認知的具身化表現(xiàn)以及隱喻化的語言系統(tǒng)形成。在口頭上的表達“他有很遠大的夢想”，體現(xiàn)了“性質”圖式中的“大小”程度，程度雖然是相對抽象的概念，但它在潛意識中可以影響認知理解與語言系統(tǒng)。在行為活動中，我們看到“樓梯”就自然聯(lián)想到“上與下”的動作，這對應了“空間”圖式。所以，常見的意象圖式是已經在人腦中形成的共同行為經驗模式。

“意象圖式”與“多模態(tài)”雖分屬不同的概念領域，但都圍繞人的認知與心智習慣模型展開研究。意象圖式是論述語言如何受環(huán)境狀態(tài)影響，從而做出相應的描述詞匯;多模態(tài)是論述行為感官如何受環(huán)境狀態(tài)影響，從而做出相應的動作交互，兩者都說明了人與物、人與人的各種交互行為都來源于認知，而認知與環(huán)境狀態(tài)有密不可分的關系，把“多模態(tài)”與“意象圖式”的概念結合，可以為交互裝置設計提供關于“動因”的理論解釋。

由此，結合多模態(tài)理論與意象圖式部分理論的借鑒，可以構建數(shù)據(jù)可視化交互裝置設計的底層理論系統(tǒng)，為交互裝置的設計提供理論依據(jù)，如圖1。

二、多模態(tài)概念下的數(shù)據(jù)可視化交互裝置設計思路

（一）數(shù)據(jù)可視化藝術裝置的多模態(tài)應用

以可交互裝置設計的形式去實現(xiàn)數(shù)據(jù)可視化，是數(shù)據(jù)可視化中最為復雜的呈現(xiàn)方式?；诙嗄B(tài)人機交互理念，以及現(xiàn)今大數(shù)據(jù)所表現(xiàn)出的“規(guī)模大、變化快、異構性和非結構性”等特點，對數(shù)據(jù)可視化交互裝置的設計提出了挑戰(zhàn)，數(shù)據(jù)可視化交互裝置設計從應用的模態(tài)情景，可以分為多維度模態(tài)、在地性模態(tài)、游戲式模態(tài)、情感化模態(tài)四種，分別應對不同的使用場景與目標人群。

1.多維度模態(tài)：數(shù)據(jù)可視化交互裝置設計可以突破屏幕（二維）的限制，實現(xiàn)多維度的交互，像廣州美術學院學生創(chuàng)作的數(shù)據(jù)可視化交互裝置《云圖》，如圖2，利用9個可交互的全息投影展柜，把9個不同城市實時氣候數(shù)據(jù)通過動態(tài)三維的方式進行展示，觀眾通過掃二維碼進入特定程序，使2個或多個城市的數(shù)據(jù)進行比對展示，結果實時在裝置上反映出來，實現(xiàn)多個維度的立體觀察。

2.在地性模態(tài)：在藝術設計領域，“在地性”指的是為現(xiàn)場性以及利用地點的特殊性進行藝術創(chuàng)作，將“在地”作為空間批判的策略和創(chuàng)作方法，而交互裝置的設立與其所處的空間載體有著非常密切的關系，在地性原則同樣適用。在數(shù)據(jù)可視化交互裝置“深圳脈動”中，如圖3，裝置將深圳交通實時數(shù)據(jù)轉譯為光影運動，光影運動再轉化為機械運動，機械裝置的運動集合構成了作品的模態(tài)效果，創(chuàng)造出符合用戶感知的運動模型。同時，裝置的六邊形與深圳9個行政區(qū)巧妙對應，1300萬深圳人各自獨立的交通行為在這里集體可視化，匯聚出城市的脈動。

3.游戲式模態(tài)：以游戲的方式進行數(shù)據(jù)可視化交互，可以增加用戶的黏性以及好感度，通過游戲的模態(tài)，讓觀眾通過身體的參與挖掘數(shù)據(jù)的有趣點，從而實現(xiàn)對數(shù)據(jù)價值的理解。全球首家以House of Innovation為概念的耐克上海001，空間中庭有一個大型的數(shù)據(jù)可視化交互裝置名為“核心中場”，如圖4，通過各類型體育游戲的模態(tài)交互，參與者可以實現(xiàn)身體狀況數(shù)據(jù)、運動能力數(shù)據(jù)、雙人或多人競技數(shù)據(jù)、綜合排名數(shù)據(jù)等聯(lián)動，深度捆綁數(shù)據(jù)與用戶的關系，實現(xiàn)沉浸式的游戲交互狀態(tài)。

4.情感化模態(tài)：情感模態(tài)是指利用帶有情感色彩的符號元素，以及帶有情感特征的行為模型進行模態(tài)設計，諸如握手、擁抱、擊掌等行為的象征隱喻借用。Twitter委托Sosolimited團隊設計的一個數(shù)據(jù)可視化交互裝置，如圖5，充分利用了情感化模態(tài)。參觀者可以使用平板電腦選擇8個熱點話題中的任意一個，來觀看這個話題當前Twitter上的熱點度。談論這個話題的人越多、越激烈，裝置上燈光閃爍的頻率越高，“心跳”越快。

（二）基于多模態(tài)的數(shù)據(jù)可視化交互裝置設計模型

在判斷數(shù)據(jù)可視化交互裝置的效果時，要以用戶體驗結果為判斷依據(jù)，用戶體驗的優(yōu)劣跟模態(tài)有著密切聯(lián)系。英國工程師WilliamPlayfair在其數(shù)據(jù)統(tǒng)計圖形繪制中，利用了人類認知圖形模態(tài)的特點，較早地從用戶體驗的角度去處理數(shù)據(jù)可視化，柱狀圖作為現(xiàn)今被應用最廣泛的圖表類型，最早是由他設計的。Jesse James Garrett在其著作《用戶體驗要素》中，首次提出了基于用戶體驗要素的網站平臺設計模型，它從用戶認知與體驗感知的角度切入，進行了詳盡的原因分析與過程拆解。模型基于網站交互體驗層級的復雜與多樣、內在邏輯的繁復與鏈接的特點，利用5個層級（戰(zhàn)略層、范圍層、結構層、框架層、表現(xiàn)層）高度概括了整個設計過程，該模型對業(yè)界產生了巨大影響力。

基于上述多模態(tài)理論基礎，以及在借鑒用戶體驗層級要素模型的基礎上，重新整合并改進設計得出適用于數(shù)據(jù)可視化交互裝置設計的層級模型。從4個層級進行設計過程推導，幫助設計師更有目標和效率地進行設計工作，也讓觀眾更能清晰理解交互裝置想要表達的意圖，滿足認知期望，從而實現(xiàn)沉浸式的交互體驗，如圖6所示。

1.戰(zhàn)略層級：戰(zhàn)略層是整體方案設計的基礎以及原點，如果沒有戰(zhàn)略層面的思考，設計則無法推演與定位，喪失了核心要素。在戰(zhàn)略層，用戶需求是推動整個方案的源動力，用戶通過數(shù)據(jù)想要了解什么，又是什么驅動用戶與藝術裝置互動等動因問題，都需要在具體設計前研究清楚。

2.戰(zhàn)術層級：明確的戰(zhàn)略目標后，接下來需要關注的是數(shù)據(jù)的內容與邊界，數(shù)據(jù)的邊界決定了可視化的層級。收集回來的數(shù)據(jù)進行解構分析，厘清數(shù)據(jù)之間的鏈接與邏輯關系，梳理出數(shù)據(jù)的組織結構、進行數(shù)據(jù)去躁等，都能進一步提純數(shù)據(jù)，增強用戶獲取數(shù)據(jù)的效率。還要進行數(shù)據(jù)的特征挖掘，找出有特點的數(shù)據(jù)細節(jié)，甚至是具有沖突性、戲劇性的數(shù)據(jù)變化，讓最終的交互裝置設計內容具有更強的吸引力。

3.結構層級：結構層是在整體范圍都確定后，從結構層面進行完善設計。數(shù)據(jù)映射把數(shù)據(jù)的狀態(tài)數(shù)值、三維空間信息、固定或時變數(shù)據(jù)邏輯、數(shù)據(jù)間的組織關系等，通過形（點線面體）跟色（色立體）的匹配，分別映射在不同的視覺路徑上，使用戶能清晰認知。交互設計的重點在交互行為的設計與創(chuàng)意上，需要規(guī)劃用戶的操作手段、回饋模式等表現(xiàn)方式。好的交互設計可以瞬間吸引用戶，并在交互中感受到樂趣。

4.模態(tài)層級：最后的模態(tài)層是基于用戶體驗以及感知的層面，把之前結構層的交互設計、數(shù)據(jù)映射、裝置構造等，以一種多感官模態(tài)的形式進行最終呈現(xiàn)，讓觀眾除了視覺層面的感受外，還有其他感官的交互。同時，在模態(tài)層還要加入意象圖式的可視化考慮，讓觀眾能在最短時間內辨認裝置的操作方式，以及空間位置、長寬高、形狀大小、色彩屬性等感知內容，基于目標用戶，將感知性高的模態(tài)元素應用在交互裝置設計中。要特意指出的是，視覺界面的設計屬于多模態(tài)中的視覺模態(tài)范疇，所以對于一般（屏幕二維）數(shù)據(jù)可視化的圖形化界面設計，也是需要考慮的重點之一。

戰(zhàn)略層、戰(zhàn)術層、結構層、模態(tài)層這四個層級間存在著層次漸進的關系，每一個層級都基于上一個層級推導出來，即戰(zhàn)術層基于戰(zhàn)略層的目標用戶需求以及數(shù)據(jù)收集的研究，結構層基于戰(zhàn)術層的數(shù)據(jù)分析進行交互設計與數(shù)據(jù)映射，模態(tài)層的多感官感知設計是基于結構層的推導，這四個層級關系緊密相連而構成整體。

三、設計實踐

在設計實踐研究中，筆者以成都氣候數(shù)據(jù)的可視化展示作為研究目的，并以交互式裝置設計的形式進行實物測試。整個數(shù)據(jù)可視化交互裝置的設計，都嚴格按照上文論述的設計層級模型展開，重點在于以真實的設計實踐驗證理論的可行性。

1.設計戰(zhàn)略目標的定義：首先，設計從戰(zhàn)略層角度對目標用戶需求以及相關數(shù)據(jù)進行收集，并反復推敲戰(zhàn)略目標與任務路徑，確定了目標用戶想要了解的數(shù)據(jù)內容，然后收集了成都2020過往一年全年每日的實時各地區(qū)平均濕度天氣數(shù)據(jù)（數(shù)據(jù)來源：中央氣象臺國家氣象數(shù)據(jù)網），作為基礎數(shù)據(jù)收集。

2.設計戰(zhàn)術制定的梳理：接著在戰(zhàn)術層中，通過把氣候對應的地區(qū)數(shù)據(jù)特征作進一步提取，將二維抽象數(shù)據(jù)轉換為思維坐標系，能對應時間軸與空間軸的三維模態(tài)。數(shù)據(jù)三維模態(tài)分析如圖7a所示，以不同的立體粒子形態(tài)去呈現(xiàn)數(shù)據(jù)，強化氣候變化與地理的關系，這種在地圖圖形符號上以帶顏色的三維立體方塊作為表達的數(shù)據(jù)圖式，能方便用戶迅速對整體變量做出判斷，由于有了“時空”維度的加入，令觀眾能更好地把握全局。背后獲得信息設計邏輯如圖7b所示，觀眾可以直觀感受氣候與地理分布的關系，并通過實時的變化感受不同時節(jié)成都氣候的特點。

3.設計結構方式的深化：在結構層的設計分為兩個方面，一是用戶可以通過手機掃二維碼進入定制程序，改變參數(shù)查看氣候與地理信息的數(shù)據(jù)聯(lián)系與變化;二是在裝置構造上選擇LED立體陣列作為展示載體，以配合內容與模態(tài)的需求。二級立體界面設計如圖7c所示，在數(shù)據(jù)映射層面把對應的結構信息，如空間地理位置，區(qū)域氣候變化、相對濕度等，利用顏色映射法、高度映射法、三維映射法進行數(shù)據(jù)映射，提高用戶理解力，加快用戶認知效率。

4.設計模態(tài)交互的設定：在最后的模態(tài)層設定上，綜合了此前理論模型的要點，一方面從行為感官模態(tài)交互入手，利用紅外線動作感應技術，識別觀眾所在位置與作品方位的對應關系，把觀眾所在的方位與成都地圖的方位做了一個對應模態(tài)，觀眾步隨景移可以圍繞作品觀察成都氣候在不同地區(qū)的變化三維圖像;另一方面從認知識別符號的在地性入手，加入火鍋、熊貓、竹子等情感化符號以及文化符號的表達，使得原本抽象冰冷的數(shù)據(jù)有了“表情”與文化基因，更能讓觀眾產生共情，如圖8a所示。同時，在交互裝置中還加入了聲效的考慮，讓交互藝術裝置最后呈現(xiàn)的豐富多變的綜合模態(tài)效果，能根據(jù)用戶的交互產生實時的變化，如圖8b所示。

從最后的結果看，該數(shù)據(jù)可視化交互裝置的設計流程是嚴格按照前述的“數(shù)據(jù)可視化交互裝置設計層級模型”執(zhí)行的，從結果上是受到了當?shù)孛癖姷臍g迎，有不少觀眾在體驗后都能感受到當?shù)貧夂驐l件與地理因素的關系，也體會到了氣候地理因素對社會文化的影響，得到不少正面回饋與多家媒體的報道，是數(shù)據(jù)可視化交互裝置設計模型的一次實踐驗證。

結論

基于多模態(tài)理論的梳理與數(shù)據(jù)可視化交互裝置設計的實例分析，采用系統(tǒng)模型過程拆分的方法，提出數(shù)據(jù)可視化交互裝置的設計模型，該模型主要包含戰(zhàn)略層、戰(zhàn)術層、結構層與模態(tài)層四個部分。每一個層級都是基于上一個層級推導，層級之間的邏輯關系緊密，其中多模態(tài)作為最終的層級考慮，是影響數(shù)據(jù)裝置與用戶是否達成真正交互的關鍵因素，也是豐富數(shù)據(jù)可視化裝置設計體驗感的核心要素。

該模型的運用可增加數(shù)據(jù)可視化交互裝置設計信息傳達的準確性、豐富性、趣味性與交互性，使得數(shù)據(jù)可視化有了更為綜合的表達形式，也為交互裝置的設計創(chuàng)作提供了新的交互維度。

3266501908267