摘要：多模態(tài)是指人通過將不同模態(tài)通道所獲取的信息進行整合，從而感知與周圍物體環(huán)境交互的行為，強調(diào)兩種及以上感官的融合，逐漸發(fā)展為了解與學習外界信息的主要方式，能夠為博物館交互體驗的創(chuàng)新設(shè)計研究提供理論參考。文章對多模態(tài)理論原理及應用范圍進行梳理，通過文獻研究、案例分析、實踐設(shè)計等綜合方式，探索多模態(tài)理論與博物館交互體驗設(shè)計的內(nèi)在聯(lián)系，依據(jù)參觀者層層遞進的認知過程，得出博物館交互體驗設(shè)計的層級模型。最終借助案例研究系統(tǒng)剖析該模型在博物館中的應用形式，從交互形式、互動性質(zhì)和感知體驗3個方面提出多模態(tài)視閾下博物館互動體驗的設(shè)計策略；同時也指出博物館的互動體驗設(shè)計不應僅以技術(shù)革新為主導，而是要將技術(shù)與人的需求行為、場景等巧妙結(jié)合，使參觀者的觀展過程從客觀轉(zhuǎn)為主觀、從外在轉(zhuǎn)為內(nèi)化，從而提升參觀者的感官體驗、激發(fā)其情感共鳴并擴大展覽的表現(xiàn)形式，可為博物館交互體驗設(shè)計提供新思路與參考。

關(guān)鍵詞：多模態(tài)；博物館；互動體驗；展示設(shè)計；感官

中圖分類號：TU242.5 文獻標識碼：A

文章編號：1003-0069（2024）04-0061-03

Abstract：Multimodality refers to the behavior of human perceiving the interaction with the surrounding object environment by integrating the information obtained from different modal channels，emphasizing the integration of two or more senses，and gradually developing into the main way to understand and learn the external information，which can provide theoretical reference for the innovative design research of museum interactive experience. The article compares the principles and application scope of multimodal theory，explores the intrinsic connection between multimodal theory and museum interactive experience design through literature research，case study and practical design，and derives a hierarchical model of museum interactive experience design based on the cognitive process of visitors’ progression. Finally，we analyze the application of this model in museums with the help of case studies，and propose design strategies for museum interactive experience in three aspects：interaction form，interaction nature and perceptual experience；at the same time，we also point out that the design of interactive experience in museums should not be dominated by technological innovation only，but should skillfully combine technology with human needs，behaviors and scenarios，so that the visitors’ viewing process can be changed from objective to subjective，from external to It also points out that the design of interactive experience in museums should not only be dominated by technological innovation，but also by the clever combination of technology and human needs，behaviors and scenes，so that the visitor’s viewing process can be changed from objective to subjective and from external to internalized，thus enhancing the sensory experience of visitors，stimulating their emotional resonance and expanding the expression of the exhibition.

Keywords：Multimodal；Museum；Interactive experience；Display design；Sensory

引言

人類與世界的互動本質(zhì)上是多模式的[1-2]。我們依次和并行地使用多種感官來被動和主動地探索我們的環(huán)境，確認對世界的期望并感知新信息。體驗經(jīng)濟浪潮下，博物館作為展現(xiàn)人類傳統(tǒng)文化的主要場所，已不再只滿足簡單的收藏與科普功能，其設(shè)計趨勢逐漸從“以展品為中心”向“以參觀者體驗為中心”不斷轉(zhuǎn)變，繼而成為現(xiàn)代城市生活中公眾信息來源、提升藝術(shù)素養(yǎng)，甚至是休閑娛樂的主要場所?；觿t是通過多種媒介，將體驗設(shè)計、科學技術(shù)、美學等多種方式融合在一起，重構(gòu)形成的一種全新的藝術(shù)形式，能夠使藝術(shù)表達更加豐富。用于博物館中，通過多種新興的技術(shù)和形式能夠提高參觀者在體驗過程中的感受質(zhì)量，大致可以分為視覺交互式、觸碰交互式、體感交互式與增強或虛擬現(xiàn)實等多種技術(shù)形式[3]。多元的博物館的互動體驗設(shè)計能夠進一步引發(fā)參觀者更深層次的思考，強化人們對信息的感知，使感知覺效果更加趨近于真實感受。

目前，博物館互動體驗設(shè)計相關(guān)研究已具備了一定規(guī)模，也取得了一些結(jié)果，但總的來說，對于博物館互動體驗研究大部分都聚焦在博物館的互動裝置、空間敘事、空間形態(tài)布局和新興技術(shù)的運用上[4-7]，部分學者開始關(guān)注感知覺的應用[8-9]。未來博物館的互動體驗是技術(shù)、感知、藝術(shù)綜合應用的結(jié)果，無論單獨研究任意一方面都是片面的。參觀者在博物館中非正式學習與體驗的過程離不開人們自身的多種感官通道，或許多模態(tài)視閾下的互動體驗設(shè)計能夠加強參觀者對信息的感知，進一步引發(fā)更深層次的思考，從而獲得生理與精神的全新多維體驗，為后續(xù)探索博物館交互體驗設(shè)計提供一個新視角和新途徑。

一、多模態(tài)及應用概述

多模態(tài)下的互動體驗設(shè)計不再是僅滿足傳統(tǒng)的博物館受眾需求，而是在此基礎(chǔ)上通過多媒體化、數(shù)字化的技術(shù)提升參觀者在體驗中的感受，并通過多種感官聯(lián)合的交互方式，在多種感官共同作用下進行信息的傳遞與交流，從而給予參觀者多維度的精神享受與生理體驗。

（一）多模態(tài)概念

針對人體來講，模態(tài)通俗意義上是指人的感官，即視、聽、味、嗅、觸覺五感，是人與外界接觸的主要途徑[10]。同時，人們在感知外界物體與周圍環(huán)境的過程中離不開運用多種符號來建構(gòu)意義[11]，因而出現(xiàn)了“多模態(tài)”的概念，“多模態(tài)”是指人通過將不同模態(tài)通道所獲取的信息進行整合，從而感知與周圍物體環(huán)境交互的行為，強調(diào)兩種及以上感官的融合，逐漸發(fā)展為了解與學習外界信息的主要方式。

科學研究表明，在接受信息的過程中調(diào)動的感官越多，心理對該事物的認知就會越透徹、形象越趨近于真實，記憶越深刻。在感官體驗最大化的同時，信息傳播的效用也逐漸增強[12]。所以通過多模態(tài)去研究感官主體與感官環(huán)境之間的交互關(guān)系，能夠有針對性地提升主體的體驗感受：改變博物館傳統(tǒng)的單一視覺傳播信息的形式，從不同的認知層級拓寬展覽表現(xiàn)形式，將參觀者的感官從多方面進行調(diào)動，從而使參觀者主動地去接收所散發(fā)的信息，整個過程的趣味性以及互動性得到了很大提升。

（二）多模態(tài)應用范疇

多模態(tài)概念最早在認知語言學領(lǐng)域出現(xiàn)，該領(lǐng)域?qū)＜以谘芯康倪^程中基于Halliday創(chuàng)立的系統(tǒng)功能語言學，發(fā)現(xiàn)一種嶄新的話語分析形式—多模態(tài)話語分析，即人們在使用話語進行交流溝通時，也有其他非語言模態(tài)的參與，例如人臉表情、聲音音調(diào)、肢體動作及道具設(shè)備等，在多種模態(tài)的共同作用下完成信息的交換。近年來，多模態(tài)概念逐漸出現(xiàn)在設(shè)計學、工程學、醫(yī)學、自然科學等領(lǐng)域并成為研究熱點。德國國家科學與工程院院士張建偉表示：人機交互的未來是多形態(tài)共享模式；計算機視覺方向著名專家賈佳亞則提出“多模態(tài)是人工智能的未來”的觀點；日本知名設(shè)計大師原研哉在《設(shè)計中的設(shè)計》一書中對“五感設(shè)計”進行了探討與闡釋：了解人的感受形式，然后通過設(shè)計使人得到并了解信息，是二十一世紀設(shè)計發(fā)展的新方向。實踐方面，原研哉在對梅田醫(yī)院的標識系統(tǒng)進行設(shè)計時，選擇白色的棉布為設(shè)計的主要使用材料，來映射該醫(yī)院環(huán)境的新鮮舒適，通過結(jié)合視覺、觸覺、聯(lián)覺有效地穿搭了醫(yī)院的形象。這些研究均可對博物館如何通過交互體驗設(shè)計與參觀者進行溝通提供一定意義上的理論借鑒。

二、博物館中互動體驗的必要性

（一）博物館互動體驗設(shè)計的必要性

隨著計算機技術(shù)及網(wǎng)絡的發(fā)展，交互設(shè)計逐漸成為一種趨勢，尤其在博物館文化空間中應用廣泛，包括展覽展示、參觀導覽、信息服務及輔助設(shè)施等方面，交互活動幾乎能夠貫穿整個參觀過程，打造全新的用戶體驗。從本質(zhì)上講，博物館的互動體驗就是讓參觀者通過各種方式參與到其中，并最終實現(xiàn)自身價值的過程。交互不僅發(fā)生在人與人之間，同樣也可以發(fā)生在人與事物中，而博物館的互動體驗設(shè)計也應當注重觀者感受，滿足受眾的物質(zhì)與精神需求。

如今博物館的交互性建設(shè)已經(jīng)成為一個重要課題，博物館有必要在多模態(tài)相關(guān)理論的幫助下，結(jié)合現(xiàn)代博物館展覽設(shè)計中已經(jīng)包含的成熟的情境化、智能化、故事化、知識化、智能化的互動體驗設(shè)計[13]，帶給觀眾飽滿、輕松、有活力的觀展體驗。使每個參觀者都能參與到傳遞信息所講述的故事當中去，并通過自由選擇的方式了解展覽背后的深層意義。

（二）多模態(tài)交互的優(yōu)勢

目前，多模態(tài)應用相關(guān)的文獻較少，但各種研究表明，多模態(tài)方案往往更受用戶青睞，可以提供更好的靈活性和可靠性，更好地滿足具有各種使用模式和偏好的不同用戶的需求[14]。當信息以多種模式呈現(xiàn)時，人類可以更快、更好地處理信息[15]。事實證明，多模態(tài)有幾個特定的優(yōu)點[16]：

允許靈活選擇和使用不同交互模式。

提高效率，尤其是在操作圖形信息時。

與僅視覺或僅聽覺相比，多模態(tài)可以減少不流暢性，并提高人體識別功能。

可以精確地傳遞空間信息。

適用于更廣泛的用戶、任務和環(huán)境情況。

適應個體差異，例如永久或暫時的殘疾。

界面、任務、用戶和環(huán)境的每種組合都是不同的，因此很難對整個類別得出一般結(jié)論，但現(xiàn)有研究的趨勢已指出了追求多模態(tài)對用戶有利的廣泛原因。

三、博物館互動體驗設(shè)計中多模態(tài)層級構(gòu)建

隨著新興技術(shù)的不斷發(fā)展，博物館的互動體驗同時也擁有了更多的可能性，多模態(tài)被應用的頻率也逐漸升高。博物館早期的傳統(tǒng)硬件設(shè)備慢慢被智能交互裝置所替代，從而在傳遞信息的過程中激發(fā)參觀者更多種類的感官參與，為體驗過程提供更為豐富的情感價值。

人對外界事物的認知過程在多模態(tài)交互體驗過程中可分為3個階段：首先，感官受到外界刺激后做出反應直接影響認知過程；其次對已有的感覺信息做出區(qū)分，并通過運動系統(tǒng)對其做出解釋；最終在自身、環(huán)境與腦神經(jīng)的多重作用下，對事物的本質(zhì)進行個性化認知，激發(fā)情感共鳴。3個階段的目的都是通過交互體驗，在多種模態(tài)相互疊加的情況下接受外界的信息并產(chǎn)生獨特認知。根據(jù)多模態(tài)，提出基于多模態(tài)的博物館交互裝置設(shè)計層級模型，分為基礎(chǔ)感知、行為交互與思想建構(gòu)3個層次。

（一）基礎(chǔ)感知層

基礎(chǔ)感知階段是體驗過程中的基礎(chǔ)層級，即參觀者對自己身體的感知和通過身體對外界的感知。身體是人來到世間接觸到的第一個三維實體，人們對周圍環(huán)境的感知及做出的行為都以自己的身體為參照系[17]，比如通過身體的輪廓、中心、位置與平衡來感知與博物館營造出的虛擬世界之間的關(guān)聯(lián)，或是通過自身肢體的動作反饋，感知動作與虛擬空間或角色的關(guān)聯(lián)，從而感受自身在虛擬世界中的存在以及關(guān)聯(lián)。同時，設(shè)計師可以賦予環(huán)境不同屬性來向參觀者傳遞重要信息，使其能夠通過自己的身體來感知與物體環(huán)境交互的可能性。在交互體驗的過程中可以發(fā)現(xiàn)，信息是人的感官主動去接收和發(fā)現(xiàn)的，同時證明了主動接收信息是人的本能，在外界的刺激下，最先接收到信息的感官能夠刺激其他不同的感官共同參與體驗，從而形成多模態(tài)的新形勢。這種多感官互相作用而形成的體驗形式能夠使信息被收取、與自身以外的交互變得更加具有趣味性。在設(shè)計的過程中要注意，并不是將所有的模態(tài)融入其中，而是應有主有次，根據(jù)不同模態(tài)的重要程度有針對性地進行設(shè)計。

（二）行為探索層

行為探索層是體驗過程中的中間層級，即在基礎(chǔ)感知的基礎(chǔ)上激發(fā)參觀者對交互體驗的好奇心，并進行一些有目的性的干預、引導，從而使其依據(jù)聯(lián)想與想象產(chǎn)生探索式的行為，滿足精神上的體驗。在設(shè)計過程中要注意選擇符合人基本認知，即容易理解的行為任務作為基礎(chǔ)，行動流程盡量采取直線式，減少隱藏信息，有助于參觀者在短時間內(nèi)掌握，通過直覺進行互動。

行為探索是人與事物相遇時在動態(tài)、連續(xù)的相互作用下自然而然產(chǎn)生的結(jié)果。在交互的過程中，該層級中不同個體通過對體驗過程的不同認知，能夠在基礎(chǔ)感知層的基礎(chǔ)上融入自身的想法，并產(chǎn)生不同的行為，達到融入情感的目的。

（三）思想建構(gòu)層

思想建構(gòu)層是體驗過程中的最高層級，也是最終導向，參觀者在前兩個層級的基礎(chǔ)上產(chǎn)生有意義的認知與體驗。多模態(tài)下的互動體驗最終目的是同時滿足參觀者的心理需求、生理需求以及對精神層次的追求，使感知的效果更加真實，使體驗者身臨其境，感受到近乎現(xiàn)實的體驗。然而當前大多數(shù)的人機互動過程都在參與互動主體的關(guān)注下進行，很難讓參觀者本身與周圍環(huán)境融為一體，而此層級就是為了讓參觀者聚焦于情感體驗，讓交互過程中所使用技術(shù)工具在體驗過程中“消失”。理想情況下，參觀者在博物館的真實場景中的身體能夠與虛擬場景中的身體相互融合，形成一個 “共同整體”，從而能夠自由地控制周圍環(huán)境中的事物，而其中包含的故事情節(jié)也可以讓參觀者與設(shè)計師產(chǎn)生共鳴，喚醒自己的情感和思緒，從而達到傳播和教育的目的。在此層級中，設(shè)計師應更加注重如何通過多模態(tài)的交互體驗傳遞給參觀者想要表達的思想，使其在感官體驗的基礎(chǔ)上有更深層次的思想方面的理解，將情感共鳴貫穿整個交互體驗過程中。

四、多模態(tài)視閾下博物館互動體驗設(shè)計策略

根據(jù)上述研究結(jié)果，將多模態(tài)層級模型與博物館互動體驗設(shè)計實踐相結(jié)合，

能夠?qū)Σ┪镳^的自身價值與文化價值進行提升，促進傳統(tǒng)文化與現(xiàn)代技術(shù)之間的融合和流通，同時在設(shè)計過程中讓參觀者從中獲得更好的體驗。

（一）集成技術(shù)共創(chuàng)多元場景體驗

隨著技術(shù)進步與多維展覽形式的出現(xiàn)，博物館已摒棄之前傳統(tǒng)的展陳方式。依據(jù)多模態(tài)層級，整合不同種類的數(shù)字設(shè)備，避免單一的技術(shù)堆砌所造成的淺薄和沉悶的互動設(shè)計，巧妙整合各種數(shù)字技術(shù)和方法，加強博物館空間與參觀者之間的交流，幫助其產(chǎn)生并保留更多關(guān)于博物館所展示文化的相關(guān)記憶。例如，在博物館序廳或是尾廳處可設(shè)置立體環(huán)幕投影播放動畫影片，結(jié)合運用一些綜合聲、光、電的多元裝置，來作為博物館展覽的開篇或結(jié)尾，綜合多種技術(shù)呈現(xiàn)展覽背景、內(nèi)容與過程。在設(shè)計博物館展覽的背景故事時，可多考慮界面層面的照明渲染，比如使用地面的特殊照明投影裝置來投射文字或圖像，巧妙納入不同的文化資源，以增強空間的氛圍。如圖1，南京溧水秦淮源博物館利用立體環(huán)幕投影展現(xiàn)秦淮河，對歷史場景進行數(shù)字化重現(xiàn)，同時地面使用投影裝置對環(huán)幕動畫進行補充說明，并通過數(shù)字語音結(jié)合圖像做互動解說，整個空間集展示與互動功能為一體，參觀者能夠根據(jù)博物館創(chuàng)建的開放式數(shù)據(jù)源探索秦淮河的歷史。第三展區(qū)中運用聲光電技術(shù)手段，如圖2，再現(xiàn)藝術(shù)景觀，配合動態(tài)影像畫面，營造出秦淮河的真實景象，以模擬游覽的方式在視覺、聽覺，體感的共同作用下為參觀者營造出印象深刻的互動體驗。

近年來，浙江理工大學的虛擬現(xiàn)實實驗室已在研究數(shù)字氣味技術(shù)，并明確表示在博物館的交互設(shè)計中應注重多模態(tài)的融合，使參觀者在通過視覺、觸覺去感受到文物的同時也能調(diào)動在以往的參觀體驗中使用頻率較低的嗅覺，從而全方位地感知文物與其背后的故事，感受更加真切。

（二）多維組合打造啟發(fā)式探索

啟發(fā)式共創(chuàng)的互動體驗主要在于其結(jié)果的不確定性，充分激發(fā)參觀者的主觀能動性。旨在將博物館的文化教育作用從“強制灌輸”轉(zhuǎn)變?yōu)椤耙龑е鲃印?，豐富博物館參觀者的體驗，參觀者能夠依據(jù)參觀前期所接收到的信息結(jié)合自身的知識儲備創(chuàng)造出獨一無二的作品，通過此看到對當代及未來的價值，從而更加有效地實現(xiàn)在大眾中弘揚與傳播文化的目的。

博物館的互動體驗區(qū)可以通過傳感器、多點觸摸互動屏、互動墻等多媒體技術(shù)來代替以往通過靜態(tài)實體的傳遞方式，以便在互動區(qū)提供更有吸引力的體驗。參觀者可以通過使用VR技術(shù)將自身代入虛擬現(xiàn)實技術(shù)所產(chǎn)生的三維環(huán)境中，來感知并增強對空間的體驗。如圖3，克利夫蘭藝術(shù)博物館一樓展廳中有一面用來展示藝術(shù)品，長約12.2米的多點觸控互動墻，其互動系統(tǒng)主要包括界面屏幕、感應器、服務器。界面下端區(qū)域集中呈現(xiàn)了與交互操作相關(guān)的主要提示信息，主要互動步驟采用易于理解的直線流程，參觀者被引導創(chuàng)建自己的博物館收藏墻——將墻上的藝術(shù)品保存到自己移動設(shè)備上的收藏夾，并可以通過社交媒體進行分享，在起到宣傳作用的同時也增強了參觀者的個性化體驗。展覽中還運用了人臉識別系統(tǒng)，將參觀者的面部表情進行記錄并與博物館中的其中一件藏品進行計算匹配，增強參觀者與藏品之間的聯(lián)系，使參觀體驗具有高度的互動性。

設(shè)計師在設(shè)計過程中可將上述的二維互動墻拓展到三維當中，通過增加空間紅外感應系統(tǒng)，讓參觀者感知自身與虛擬世界的關(guān)聯(lián)，使參觀者處在空間中任意一處都可以進行虛擬互動，例如翻書、閱讀等，從而打破時空限制，打造更為生動的呈現(xiàn)效果。

（三）沉浸式傳遞空間意向

以多模態(tài)層級模型為主導建立空間情景框架，確定空間意向，塑造展陳空間，創(chuàng)造出一種沉浸式的體驗，使參觀者從被動的信息攝入轉(zhuǎn)為主動地探索和學習。設(shè)計師在設(shè)計過程中要通過受眾調(diào)研總結(jié)反思，并融合新興技術(shù)進行迭代更新，以減少參觀者與設(shè)計師之間的認知摩擦。例如，在博物館特定文化主題空間中可以運用裸眼3D，利用人眼“視覺誤差”創(chuàng)造立體虛擬影像，營造沉浸式文化氛圍，達到引人入勝的效果，刺激參觀者的感官從而增強參觀者的記憶和感受，通過個體之間、個體與空間之間、個體與數(shù)字技術(shù)之間的互動，創(chuàng)造出一種高效的體驗。如圖4，佛教文化博物館中前來正定廳的拜佛者到湖面中央禪坐互動區(qū)時，跪拜墊界面會呈現(xiàn)出與參觀者位置相對應的人體輪廓，引導參觀者進行跪拜，同時3D裸眼、服務器、重力感應器共同作用下參觀者正前方呈現(xiàn)出三維立體“跪拜”環(huán)節(jié)的示范動畫，使參觀者能自然地通過自己的身體與周圍環(huán)境產(chǎn)生互動，切身體驗拜佛禮儀，融入虔誠拜佛的情景。

在博物館空間中需要利用恰當?shù)脑O(shè)計刺激觀眾的感官與認知。通過多模態(tài)與博物館空間的結(jié)合充分調(diào)動參觀者的興趣，使參觀者在參觀博物館的過程中充分發(fā)揮自己的感知機能，使人與博物館空間融合成一個完整的整體，從而達到真實的情感體驗與文化宣傳輸出的效果。豐富的互動以及真實的情感體驗可加深參觀者對博物館所承載的文化的理解力與文化認同感，獲得一次刻骨銘心的體驗。

總結(jié)

多模態(tài)是以人的五感與大腦認知為基礎(chǔ)的，對增強互動體驗起著重要作用，新興生態(tài)環(huán)境下博物館文化空間的設(shè)計離不開技術(shù)、感知與藝術(shù)的同步發(fā)展，三者缺一不可。文章通過對多模態(tài)理論的梳理，構(gòu)建了博物館空間中互動體驗設(shè)計的層級模型，其中包括基礎(chǔ)感知層、行為探索層與思想建構(gòu)層，3種層次相互關(guān)聯(lián)，相互推進而并非獨立運行。在多模態(tài)視域下，設(shè)計師通過綜合應用多種數(shù)字技術(shù)，共創(chuàng)多元場景體驗、打造啟發(fā)式探索互動、沉浸式傳遞空間意向，以實現(xiàn)博物館展陳信息的高效傳播，對未來持續(xù)深入地探究博物館互動體驗設(shè)計具有積極意義。

基金項目：國家社科基金藝術(shù)學項目（22BG117）

參考文獻

[1]Multimodal human-computer communication：systems，techniques，and experiments[M].Springer Science Business Media，1998.

[2]Quek F，McNeill D，Bryll R，et al. Multimodal human discourse：gesture and speech[J]. ACM Transactions on Computer-Human Interaction（TOCHI），2002，9（3）：171-193.

[3]陶雪瓊. 基于普適計算的無界面交互設(shè)計研究[J]. 設(shè)計，2020，33（13）：100-103.

[4]管家慶，劉永晟.張之洞與武漢博物館中空間敘事與互動體驗設(shè)計研究實踐[J].美術(shù)教育研究，2023（01）：71-75.

[5]鐘言欣.新媒體藝術(shù)視角下的博物館互動體驗研究[J].藝術(shù)家，2022（09）：135-137.

[6]孫穎.數(shù)字化互動體驗與地域文化博物館展示設(shè)計[J].百科知識，2022（21）：73-75.

[7]劉高飛. 基于環(huán)境心理學下的展陳空間互動體驗應用研究[D].南昌大學，2022.

[8]劉美君，余逍.感知與交互：博物館互動體驗的提升[J].家具與室內(nèi)裝飾，2022，29（03）：61-65.

[9]杜宇靜.探究博物館空間中“真實感”的互動體驗設(shè)計[J].今傳媒，2022，30（01）：97-100.

[10]羅保權(quán)，邢亞龍.多模態(tài)理論在數(shù)據(jù)可視化交互裝置設(shè)計中的應用研究[J].設(shè)計，2022，35（01）：48-51.

[11]楊帆，溫曉婷. 多模態(tài)話語分析理論在產(chǎn)品設(shè)計中應用的可行性研究[J]. 設(shè)計，2019，32（10）：99-101.

[12]徐威，徐夢陶. 多模態(tài)交互在數(shù)字體驗設(shè)計中的策略探究[J]. 藝術(shù)與設(shè)計（理論），2021，2（04）：72-74.

[13]朱衛(wèi)華.博物館展覽陳列中智能交互體驗的設(shè)計探討[J].文物鑒定與鑒賞，2022（18）：85-88.

[14]Bohus D，Horvitz E. Facilitating multiparty dialog with gaze，gesture，and speech[C]//International Conference on Multimodal Interfaces and the Workshop on Machine Learning for Multimodal Interaction. 2010：1-8.

[15]Van Wassenhove V，Grant K W，Poeppel D. Visual speech speeds up the neural processing of auditory speech[J]. Proceedings of the National Academy of Sciences，2005，102（4）：1181-1186.

[16]Oviatt S. Multimodal interfaces[J]. The human-computer interaction handbook，2007：439-458.

[17]孔翠婷，潘滬生，張烈. 具身認知視角下的博物館體感交互設(shè)計研究[J]. 裝飾，2020，（03）：90-93.