［摘 要］ 至今為止，許多電影制作的美學(xué)、動機和創(chuàng)作核心依舊是實現(xiàn)通感。從計算機學(xué)習(xí)的維度看，視聽通感即為視聽跨模態(tài)驗證，主要用于計算機深度學(xué)習(xí)技術(shù)中對計算機視覺、自然語言處理和視聽情感分析等領(lǐng)域，目的是通過計算機的情感計算實現(xiàn)人機交互。許多早期實驗電影與抽象動畫體現(xiàn)的是藝術(shù)家的通感體驗與情感計算，分析藝術(shù)家的創(chuàng)作思維模式，并將其規(guī)律共享于計算機情感學(xué)習(xí)技術(shù)中，可以將視聽獨特的表現(xiàn)力更好地投入當今的計算機工具開發(fā)與動畫作品的創(chuàng)作中。

［關(guān)" 鍵" 詞］ 視聽語言；視聽模態(tài)；抽象動畫

跨模態(tài)驗證主要用于計算機深度學(xué)習(xí)技術(shù)中的計算機視覺、自然語言處理和視聽情感分析等領(lǐng)域，目的是通過計算機的情感計算實現(xiàn)人機交互。所有早期嘗試創(chuàng)作抽象動畫的電影人通過自身的感知能力，獲得了創(chuàng)造性的表達，除了業(yè)界對他們的作品進行了理論性的分析外，心理學(xué)家也進行了許多借鑒，并認為實驗電影制作人創(chuàng)作的過程可以被理解為實踐心理學(xué)研究的過程。而這些作品在當今的價值由于科技的進步又進入了新的領(lǐng)域，在計算機語境下，他們可以為計算機智能學(xué)習(xí)提供一定的價值，幫助統(tǒng)計、分析、預(yù)測人類的主觀感受。

當今計算機情感學(xué)習(xí)的目的是為了模仿人類實現(xiàn)感官之間的聯(lián)通，從而使計算機具有識別、理解、表達和適應(yīng)人的情感的能力。因此對基礎(chǔ)感知與通感之間的關(guān)聯(lián)性研究一時間成為計算機學(xué)習(xí)并積累素材的重要目標。起始于19世紀初的早期抽象動畫視聽實驗是對通感進行的感官融合初探，不僅在藝術(shù)領(lǐng)域進行了作品風(fēng)格的融合，也誕生了諸多頗具時代特征的多類技術(shù)。

一、視聽跨模態(tài)研究的維度構(gòu)成

迄今為止，許多電影制作的美學(xué)動機和創(chuàng)作核心依舊是實現(xiàn)通感。很多情況下實驗電影是藝術(shù)家通感體驗的一種記錄，通過跨模態(tài)的方式反映了其個人的感受。電影中使用感官對應(yīng)的各種方式，可以提供有助于未來研究的類別，并更好地理解與運動圖像文化相關(guān)的跨模態(tài)如何驗證感官之間的聯(lián)通。通過對各種基于通信的計算機藝術(shù)形式的分類，可以將相關(guān)概念組織為更精確的細分領(lǐng)域。

基于視聽模態(tài)的電影研究維度可以分為以下幾類。

（一）聯(lián)覺—感覺經(jīng)驗的相互溝通影響

電影中同一序列的不同美學(xué)元素，如色彩、相機運動、音樂和抽象形式，從不同維度同步指向同一情感。這是由人的感覺能力將同一事物的不同屬性牢牢地聯(lián)系在一起而形成的對心理模式的鞏固。

（二）移覺—媒介之間的對等表達

一種藝術(shù)形式被用作另一種藝術(shù)的表達基礎(chǔ)，例如用繪畫表達音樂、用對裝置的觸控表達視覺等。

（三）通感—時空交叉中合成美學(xué)的再創(chuàng)造

具備機械工程、音樂、繪畫能力的藝術(shù)家通過對個人知識的有機組合，進行的經(jīng)驗性創(chuàng)作。

（四）統(tǒng)覺—知覺經(jīng)驗的相互疊合

藝術(shù)家通過個人視聽方面的學(xué)習(xí)經(jīng)驗與設(shè)計能力，根據(jù)模態(tài)共享的共同屬性，在思維概念上將聲音和圖像結(jié)合在一起，由此形成新的知識或思考的過程。

（五）機械傳感

模擬或數(shù)字信息通過機器傳感器傳輸或能量轉(zhuǎn)換，實現(xiàn)單模態(tài)之間的形態(tài)轉(zhuǎn)換，機器將原有感官信息輸出以另一種感官形式展現(xiàn)。例如，1920年托馬斯·威爾弗雷德發(fā)明的以琴鍵演奏聲音控制光彩色的管風(fēng)琴“克拉維勒”； 20世紀40年代末奧斯卡·費欽格發(fā)明的控制光與音樂的光流場設(shè)備儀等。

二、視聽跨模態(tài)研究的感知范疇

“通感”一詞原指特定定義的醫(yī)學(xué)狀況，后被廣泛地形容人類感官、心理能力及隱喻概念?！奥?lián)覺”（Synesthesia）現(xiàn)象最早記錄于1690年，該詞起源于希臘語：Syn-翻譯成Union和Aisthesis的意思，類似于“感官的結(jié)合”?？茖W(xué)家肖恩·戴把聯(lián)覺分為40個類別，他認為感官混合可以是各種各樣的，一個人可以同時擁有不同的感官混合現(xiàn)象。根據(jù)英國愛丁堡大學(xué)心理學(xué)家朱莉婭·辛納西姆納（Julia Simner）2006年的報告調(diào)查發(fā)現(xiàn)，世界上大約有1%～4%的聯(lián)覺者，對于他們來說，當大腦處理感官的區(qū)域中接受到來自一種感知的信息后，會在無大腦干預(yù)的情況下自發(fā)性地觸發(fā)一個或多個額外區(qū)域的感官體驗：即一種模態(tài)的體驗也會在另一種或多種模態(tài)中產(chǎn)生反應(yīng)。例如，通感者能聽到香味，能通過顏色感覺到疼痛、聽出味道，能對聲音和圖像產(chǎn)生味覺或嗅覺感受。

關(guān)于通感相關(guān)研究可以追溯到古希臘時期，亞里士多德和畢達哥拉斯推測出一種球體的音樂，可以將抽象的振動概念與物理世界聯(lián)系起來。弗朗西斯·高爾頓是一位英國科學(xué)家和探險家。他的學(xué)術(shù)研究興趣廣泛，包括人類學(xué)、地理、數(shù)學(xué)、力學(xué)、氣象學(xué)、心理學(xué)、統(tǒng)計學(xué)等，他著重研究個別差異，從遺傳的角度研究個別差異形成的原因，開創(chuàng)了優(yōu)生學(xué)。他關(guān)于人類官能的研究開辟了個體心理和心理測驗研究的新途徑。他在其文章《可視化數(shù)字》（Visualized Numerals）中首次正式記錄了科學(xué)背景下的通感，盡管關(guān)于這種情況存在的說法受到了廣泛爭議，但依然引起了對通感進行各類科學(xué)測試的風(fēng)潮。當代，通過腦部掃描驗證的方式撕下了通感的神秘面紗，使它得以被數(shù)據(jù)化的方式驗證。

通感在科學(xué)界與藝術(shù)界均引起了研究的風(fēng)潮，藝術(shù)家認為通感是一種獲得更高現(xiàn)實或意識狀態(tài)的神秘工具，實驗心理學(xué)與醫(yī)學(xué)的研究案例則更關(guān)注人類的感知，也由此產(chǎn)生了精神唯心主義和科學(xué)實證主義之間的緊張關(guān)系，進一步刺激了歐洲和美國視覺音樂的發(fā)展。顏色、聲波的震動都被認為會產(chǎn)生與生命力相關(guān)的能量，與對精神概念的探索有關(guān)，因此早期通感藝術(shù)中的視覺、聽覺意象都傾向于適應(yīng)抽象符號進行表達。而這些視聽抽象符號在通感藝術(shù)中又與科學(xué)、醫(yī)學(xué)接壤，成為視聽一體、與腦電波等相關(guān)聯(lián)的可以被檢測的具有固定規(guī)律的震動，實現(xiàn)了藝術(shù)與科學(xué)兩種意義上的聯(lián)通。

移覺，可以建立媒介對等，它以隱喻的方式應(yīng)用了通感的概念。在這里，一種藝術(shù)形式（如音樂、電影、繪畫）是另一種藝術(shù)形式的表現(xiàn)基礎(chǔ)。例如16世紀末，米蘭藝術(shù)家吉烏塞佩·阿爾金博爾多（Gi-useppe Arcimboldo）提出了將不同顏色的彩紙貼在一種鍵盤樂器上的想法，從而使音樂家能夠演奏一個音符的同時看到相應(yīng)的顏色。17世紀40年代，杰西特·伯納德·卡斯特爾（Je suit Bernard Castel）建造了一架眼用大鍵琴，其外露的彩色玻璃窗與演奏的各個音符相對應(yīng)。這些發(fā)明說明了媒介等效藝術(shù)的概念，盡管它們沒有為我們提供它們各自創(chuàng)造者通感條件的實際作品。

典型的移覺案例還包括在20世紀早期，康定斯基的作品旨在畫布上捕捉音樂的表現(xiàn)力，包括音樂的節(jié)奏、旋律、結(jié)構(gòu)、和弦色彩與強弱運動等。

聯(lián)覺是人腦天生的一項特殊功能，它主要發(fā)生在生理層，是生理學(xué)或腦科學(xué)研究的對象；移覺主要是指人的實時心理出現(xiàn)的跨感官刺激——反應(yīng)現(xiàn)象。它是人類后天社會心理的感覺自發(fā)行為，主要發(fā)生在心理層，屬于心理學(xué)研究的領(lǐng)域。通感是人類言語行為的自覺建構(gòu)，主要發(fā)生在語言層，是一個生理聯(lián)覺、心理移覺和語言通感三個維度的動態(tài)過程。統(tǒng)覺活動主要發(fā)生在心理層，但現(xiàn)今也常應(yīng)用于教育學(xué)，對幼兒至成年人的學(xué)習(xí)過程進行感覺統(tǒng)合訓(xùn)練。機械傳感發(fā)生在工程技術(shù)層，研究機械制造與通信電子等領(lǐng)域，是當今利用科技工具對心理層現(xiàn)象以技術(shù)手段進行感官體驗、互動表達的新型研究方向。

隨著電影的出現(xiàn)， 20世紀20年代的歐洲抽象動畫師，如沃爾特·拉特曼、維京·埃格林、漢斯·里希特、奧斯卡·費欽格等，開始關(guān)注音樂對時間的組織能力，并嘗試使用音樂創(chuàng)作中的配器、交響、賦格曲、對位法等術(shù)語來對視覺畫面進行描述與組織，畫面因此可以借助音樂作品的時間進行運動。這些動畫電影挑戰(zhàn)了觀眾的視覺感知速度與聽覺的促生、聯(lián)通、彌補、共享關(guān)系。這些有意識的嘗試將音樂形式作為創(chuàng)造性視覺表達的基礎(chǔ)。

區(qū)別、移覺、聯(lián)覺更加類似于模態(tài)共享，具有將共同情感內(nèi)容的聲音和圖像結(jié)合在一起的能力。奧斯卡·費欽格的大部分實驗作品都與視聽模態(tài)之間的共享有關(guān)。介于二戰(zhàn)時期的歷史原因，費欽格拒絕使用形象化的線性敘事，因此他的作品需要通過跨模態(tài)驗證喚起相關(guān)審美反應(yīng)，而他對視聽內(nèi)容進行的人性化同步細節(jié)恰恰成為當今計算機學(xué)習(xí)的重點。

從人類依賴符號思維的最早階段起，聯(lián)覺就已經(jīng)作為一種認知能力而存在。費欽格在作品中的聯(lián)想維度表現(xiàn)在，他將弦樂的聲音與彎曲抽象圖形弦的意象聯(lián)系起來。代表弦樂器的“弦”意象顯然具有關(guān)聯(lián)性，畫面中線條的粗細與提琴弦的粗細（音高）也可能具有關(guān)聯(lián)性。在費欽格的作品問世之后，許多動畫電影制作人也模仿他的手法，藝術(shù)地利用視聽聯(lián)覺，以雙模態(tài)藝術(shù)形式創(chuàng)作作品，例如萊里恩的《搖擺蘭貝斯漫步》中小提琴搖擺顫音與風(fēng)琴尖銳的對應(yīng)。即便藝術(shù)家做了非常多抽象的處理，但觀眾在觀看最終作品時仍然能夠檢測到視聽的關(guān)聯(lián)。因此，聯(lián)覺對應(yīng)性也成為電影美學(xué)表達和吸引力的一個組成部分，觀眾可以通過識別音樂和運動形狀之間的共同屬性，而不是期待或?qū)ふ覕⑹戮€索，從而在作品中找到審美興趣。例如費欽哥《一首光學(xué)詩》中視覺的形狀與勃拉姆斯《第5號匈牙利舞曲》音樂的同步，在感知與認知層面都獲得了成功。

進入數(shù)字化科技時代后，模仿人腦的機械通感產(chǎn)生。模擬和數(shù)字信息通過設(shè)備傳輸，將感官信息輸出到不同于原始數(shù)據(jù)預(yù)期的模態(tài)中。例如，在聲音數(shù)字化的情況下，音樂的屬性采用二進制信息的形式，可以轉(zhuǎn)換成不同的視覺不變量。頻道和信息的普遍數(shù)字化消除了形式的差異。在各個媒體之間，在計算機本身內(nèi)部，一切都是一個數(shù)字。一旦光纖網(wǎng)絡(luò)將以前不同的數(shù)據(jù)流轉(zhuǎn)換成標準化的數(shù)字序列，那么任何媒介都可以轉(zhuǎn)換成其他媒介。

最常見的例子為音頻播放器將聲音數(shù)據(jù)轉(zhuǎn)換成華麗多彩的波形圖像。計算機可以對同步播放的音樂做出視覺響應(yīng)，并成為動態(tài)的音樂可視化工具。現(xiàn)代立體聲系統(tǒng)中的圖形均衡器也可以成為可視化聲音數(shù)據(jù)，其中一系列光譜的高度與不同頻帶的音量相對應(yīng)，或者其他現(xiàn)代應(yīng)用程序，如iTunes、MaxMsp都可以進行可視化聲音數(shù)據(jù)處理，而Jitter和Gem程序同時允許對可視化進行更深層的編程控制甚至逆轉(zhuǎn)，將圖像轉(zhuǎn)換回聲音。出于這些原因，克里斯托夫·考克斯（Christoph Cox）提出，數(shù)字技術(shù)替代人類的感官，實現(xiàn)了媒體間的相互翻譯，然而這種能力的背后更多體現(xiàn)的是冰冷的機械性。

計算機可以對這些視覺運動進行有效的識別，因為它們的形狀與色彩相對單一，可以輕松地對音樂中的內(nèi)容進行識別與量化。顏色與傳統(tǒng)音樂是與情感最接近的視聽信息，而這些經(jīng)典作品都是基于視覺與聽覺思維的基礎(chǔ)習(xí)慣，符合大眾的審美習(xí)慣。抽象動畫家們的創(chuàng)作嘗試都是從認知視角對視聽情感信息的量化與提煉，為計算機情感學(xué)習(xí)提供了良好的基礎(chǔ)。數(shù)據(jù)也可以用模擬設(shè)備進行重新掃描，對傳統(tǒng)的投影儀和賽璐珞膠片進行修復(fù)。費欽格是最早嘗試 “圖形聲音裝飾”技術(shù)的電影制作人之一，將膠片作為媒介，聲音元素通過視覺數(shù)據(jù)借助電影放映機的光學(xué)原理讀取器產(chǎn)生。例如，費欽格1932年拍攝的《裝飾性聲音》實驗電影就是通過在紙上繪制一系列幾何圖像，然后在底片的光學(xué)配樂部分拍攝圖像而創(chuàng)作的。這種關(guān)聯(lián)依賴于機器，同樣屬于機械通感范疇。

三、視聽跨模態(tài)研究的合成效果

當電影中相同序列的各種元素，如顏色、相機運動、音樂和形狀，都指向相同的情感時，各類感官思維疊加通過大腦的合成，便引發(fā)了通感效果?？枴て仗m廷加（Carl Plantinga）在其專著《移動觀眾》（Moving Viewers）中首次提出了通感影響的概念，并進行了解釋：“觀眾經(jīng)常發(fā)現(xiàn)他們對一種形式刺激的反應(yīng)與對另一種形式刺激的反應(yīng)相吻合?；靵y的剪輯可能適合混亂的音樂，相反，緩慢、流暢的跟蹤鏡頭可能適合芭蕾舞演員優(yōu)雅的動作。我們可以稱之為合成效果。”聯(lián)覺和通感效果之間的區(qū)別在于，聯(lián)覺效果并不是自動或特征性地關(guān)注從一種模態(tài)到另一種模態(tài)的每個細節(jié)的直接等價。相反，它是關(guān)于通過電影相互匹配的廣泛概念制作者對一系列不同表達手段的精心協(xié)調(diào)。例如奧斯卡·費欽格的音樂總體上與畫面的意象一致，在圖像和聲音之間形成一種富有表現(xiàn)力的相互作用。最好的聲音作品既不排斥視覺，也不屈服于視覺，而是放大了媒體和感官形式之間的差異，將注意力吸引到聲音作為一種半自治的力量。應(yīng)用聯(lián)覺情感是另一種協(xié)商音頻和視頻之間可能的對應(yīng)關(guān)系的方式，而不試圖提供或強制兩者之間的直接對等，因此實現(xiàn)了視聽共享的概念。

與通感藝術(shù)相關(guān)的概念在討論電影媒體的美學(xué)方面具有重要意義。一些構(gòu)成這一龐大、多樣領(lǐng)域的藝術(shù)品最初被稱為“通感”，當時藝術(shù)家認為這是一種浪漫的理想，科學(xué)家認為這是種奇怪的現(xiàn)象。當代，通感藝術(shù)的概念繼續(xù)以浪漫或隱喻的方式在各個領(lǐng)域被加以應(yīng)用。事實上，它代表了一系列復(fù)雜的美學(xué)效果和體驗，不同的電影實踐傳統(tǒng)以不同的方式和目的探索和利用聲音和圖像之間的對應(yīng)關(guān)系。這為評論家、學(xué)者和藝術(shù)家提供了研究運動圖像中感官對應(yīng)的初步方法。然而，為了進一步定義相關(guān)實踐，并理解時間上和地理上分散的通感藝術(shù)作品在美學(xué)、創(chuàng)意和技術(shù)方面的相似性和區(qū)別，仍需擴大這些劃分的空間。

實驗性電影制作人根據(jù)自己的認知和感知能力創(chuàng)作作品，這些能力實際上是從聯(lián)覺形式汲取的視聽經(jīng)驗再現(xiàn)。當商業(yè)動畫學(xué)習(xí)到同步的視聽技巧后，便從流行的視角證明了跨模態(tài)視聽同步的普遍吸引力。例如迪士尼首次在標志性動畫《威利汽船》（1928）中，將米老鼠的動作與音樂同步，使電影大受好評。無論是具象的擬人米老鼠形象，還是抽象的幾何圖形，都來自認知研究的基礎(chǔ)，因此與視覺音樂中視聽同步的魅力相同，米老鼠與音樂的同步也深深吸引著觀眾，而視聽同步技術(shù)對應(yīng)的恰恰是跨模態(tài)驗證。

心理學(xué)研究表明，當人們以多模態(tài)感知時，會更加尋求事件在感知模態(tài)上的不變性。如果模式和節(jié)奏在模態(tài)之間得到確認，則聲音和圖像所攜帶的信息就被視為單個事件，這是跨模態(tài)驗證的基礎(chǔ)。事實上，電影媒介是雙模態(tài)的——我們看到和聽到的事件是相互關(guān)聯(lián)的。電影中單獨的圖像和聲音流可以被構(gòu)造成符合感知系統(tǒng)的標準，從而引發(fā)對電影事件的統(tǒng)一性和真實性的確認。因此，跨模態(tài)驗證是人們在日常生活中經(jīng)常使用的一種感知過程，在這種過程中，我們將視覺體驗的真實性與聲音環(huán)境進行交叉檢查，如果聲音和視覺事件同時發(fā)生，我們通常會將這兩種體驗作為同一事件的一部分綁定在一起。

這種認知技能對抽象動畫中視聽相關(guān)內(nèi)容的發(fā)展意義重大，不僅因為它有能力橋接模態(tài)，同時也因為它適用于人類自身對感知的開發(fā)。隨著電影技術(shù)的發(fā)展與全景聲技術(shù)的普及，在電影屏幕中，當人們觀察距離十萬八千里的長鏡頭時，可以聽到微觀的聲音；當看到從屏幕正面飛來的物體時，聲音的震動可以通過我們腳邊的低音音箱進行傳遞；當視覺感受到人偶娃娃的優(yōu)雅與可愛的信息時，聽覺可以獲取與之對立的恐怖哭聲。這些與現(xiàn)實違和的視聽關(guān)系，并沒有破壞人們經(jīng)驗的完整性，反而帶來了更多感官體驗方面的培養(yǎng)與開發(fā)。制作抽象動畫的前衛(wèi)電影人在直觀地理解后，將跨模態(tài)驗證作為一種方法，大量用于抽象電影中，使其能更好地與廣大觀眾產(chǎn)生共鳴。

四、結(jié)語

計算機情感研究領(lǐng)域中識別以視覺思維為主，且對感知層面的信息收集較容易，而一旦進入深度情感分析的領(lǐng)域就需要認知層面的相關(guān)內(nèi)容，而認知具有一定的主觀性、地域性、文化性，且是多感知疊加的一種思維結(jié)果，并非瞬時感知反映。因此，需要大量的素材庫進行模型學(xué)習(xí)的累積，這些素材是藝術(shù)家人為提煉過的、具有一定共識性情感意義的作品。尤其在視聽同步作品中通過藝術(shù)家思維過濾過的視聽符號元素如何同步，具體在哪些特征上進行同步，不同感官如何通過通感有效喚起情感的方式等。此時以費欽格等藝術(shù)家為代表的視聽同步作品的價值意義就得到了較大的提升，不僅對人，對機器學(xué)習(xí)也可以起到培養(yǎng)的作用。

跨模態(tài)驗證說明視聽同步驗證的吸引力并非先鋒派藝術(shù)作品獨有，恰恰相反，它具有一種獨特且永恒的表現(xiàn)力。從20世紀20年代末至今，那些零碎實驗中的價值成果，在商業(yè)電影發(fā)展中持續(xù)被應(yīng)用。例如在1928年迪士尼米老鼠動畫《威利汽船》首播后，很快成為商業(yè)動畫片中定位票價的標準。20世紀30年代末，卡通片一直用于描述以音樂為基礎(chǔ)的派對場景或即興歌舞，例如迪斯尼制作的《愚蠢的交響樂》、華納兄弟制作的《快樂旋律》和《兔八哥》、米高梅制作的《歡樂和諧》等。雖然與實驗動畫相比，商業(yè)動畫中的同步視聽之間實現(xiàn)的更多是相互補充的翻譯功能，但畫面與音樂在主輔關(guān)系上依舊遵照以畫面為首的敘事手段，即便如此，同步技術(shù)和結(jié)果仍然是這些作品吸引觀眾與業(yè)界關(guān)注的核心來源。

因此可以得出結(jié)論：首先，跨模態(tài)學(xué)習(xí)與人的感知系統(tǒng)緊密相連，具有一定的先天審美傾向，并非文化的產(chǎn)物，但后天具有一定的培養(yǎng)空間。其次，感知不是被動的，而是主動的信息收集活動。最后，在同一時間內(nèi)，多模態(tài)彼此間同步是最容易建立認同的方式，這源于人類同時調(diào)動感官思維的生活習(xí)慣。例如，新生兒并不愿意沉浸在視覺和聽覺刺激中，他們更多的是積極尋求兩種模式之間的聯(lián)系，并以此來學(xué)習(xí)，這是一種本能。在人們與物理世界的互動中，審美體驗的種子始終存在，任何視覺場景都可以檢查其抽象性。反過來，藝術(shù)家們對抽象電影中跨模態(tài)驗證的傾向同樣來自自身與現(xiàn)實世界的互動。早期抽象電影藝術(shù)家們創(chuàng)作的高度視聽一體化的作品，本身也成為機器進行跨模態(tài)學(xué)習(xí)的最好借鑒。

作者簡介：

莊曉霓（1985—），女，漢族，上海人，南京藝術(shù)學(xué)院在讀博士，副教授，研究方向：動畫藝術(shù)理論與實踐。

作者單位：南京藝術(shù)學(xué)院