［摘 要］ 至今為止，許多電影制作的美學(xué)、動機(jī)和創(chuàng)作核心依舊是實(shí)現(xiàn)通感。從計(jì)算機(jī)學(xué)習(xí)的維度看，視聽通感即為視聽跨模態(tài)驗(yàn)證，主要用于計(jì)算機(jī)深度學(xué)習(xí)技術(shù)中對計(jì)算機(jī)視覺、自然語言處理和視聽情感分析等領(lǐng)域，目的是通過計(jì)算機(jī)的情感計(jì)算實(shí)現(xiàn)人機(jī)交互。許多早期實(shí)驗(yàn)電影與抽象動畫體現(xiàn)的是藝術(shù)家的通感體驗(yàn)與情感計(jì)算，分析藝術(shù)家的創(chuàng)作思維模式，并將其規(guī)律共享于計(jì)算機(jī)情感學(xué)習(xí)技術(shù)中，可以將視聽獨(dú)特的表現(xiàn)力更好地投入當(dāng)今的計(jì)算機(jī)工具開發(fā)與動畫作品的創(chuàng)作中。

［關(guān)" 鍵" 詞］ 視聽語言；視聽模態(tài)；抽象動畫

跨模態(tài)驗(yàn)證主要用于計(jì)算機(jī)深度學(xué)習(xí)技術(shù)中的計(jì)算機(jī)視覺、自然語言處理和視聽情感分析等領(lǐng)域，目的是通過計(jì)算機(jī)的情感計(jì)算實(shí)現(xiàn)人機(jī)交互。所有早期嘗試創(chuàng)作抽象動畫的電影人通過自身的感知能力，獲得了創(chuàng)造性的表達(dá)，除了業(yè)界對他們的作品進(jìn)行了理論性的分析外，心理學(xué)家也進(jìn)行了許多借鑒，并認(rèn)為實(shí)驗(yàn)電影制作人創(chuàng)作的過程可以被理解為實(shí)踐心理學(xué)研究的過程。而這些作品在當(dāng)今的價(jià)值由于科技的進(jìn)步又進(jìn)入了新的領(lǐng)域，在計(jì)算機(jī)語境下，他們可以為計(jì)算機(jī)智能學(xué)習(xí)提供一定的價(jià)值，幫助統(tǒng)計(jì)、分析、預(yù)測人類的主觀感受。

當(dāng)今計(jì)算機(jī)情感學(xué)習(xí)的目的是為了模仿人類實(shí)現(xiàn)感官之間的聯(lián)通，從而使計(jì)算機(jī)具有識別、理解、表達(dá)和適應(yīng)人的情感的能力。因此對基礎(chǔ)感知與通感之間的關(guān)聯(lián)性研究一時(shí)間成為計(jì)算機(jī)學(xué)習(xí)并積累素材的重要目標(biāo)。起始于19世紀(jì)初的早期抽象動畫視聽實(shí)驗(yàn)是對通感進(jìn)行的感官融合初探，不僅在藝術(shù)領(lǐng)域進(jìn)行了作品風(fēng)格的融合，也誕生了諸多頗具時(shí)代特征的多類技術(shù)。

一、視聽跨模態(tài)研究的維度構(gòu)成

迄今為止，許多電影制作的美學(xué)動機(jī)和創(chuàng)作核心依舊是實(shí)現(xiàn)通感。很多情況下實(shí)驗(yàn)電影是藝術(shù)家通感體驗(yàn)的一種記錄，通過跨模態(tài)的方式反映了其個(gè)人的感受。電影中使用感官對應(yīng)的各種方式，可以提供有助于未來研究的類別，并更好地理解與運(yùn)動圖像文化相關(guān)的跨模態(tài)如何驗(yàn)證感官之間的聯(lián)通。通過對各種基于通信的計(jì)算機(jī)藝術(shù)形式的分類，可以將相關(guān)概念組織為更精確的細(xì)分領(lǐng)域。

基于視聽模態(tài)的電影研究維度可以分為以下幾類。

（一）聯(lián)覺—感覺經(jīng)驗(yàn)的相互溝通影響

電影中同一序列的不同美學(xué)元素，如色彩、相機(jī)運(yùn)動、音樂和抽象形式，從不同維度同步指向同一情感。這是由人的感覺能力將同一事物的不同屬性牢牢地聯(lián)系在一起而形成的對心理模式的鞏固。

（二）移覺—媒介之間的對等表達(dá)

一種藝術(shù)形式被用作另一種藝術(shù)的表達(dá)基礎(chǔ)，例如用繪畫表達(dá)音樂、用對裝置的觸控表達(dá)視覺等。

（三）通感—時(shí)空交叉中合成美學(xué)的再創(chuàng)造

具備機(jī)械工程、音樂、繪畫能力的藝術(shù)家通過對個(gè)人知識的有機(jī)組合，進(jìn)行的經(jīng)驗(yàn)性創(chuàng)作。

（四）統(tǒng)覺—知覺經(jīng)驗(yàn)的相互疊合

藝術(shù)家通過個(gè)人視聽方面的學(xué)習(xí)經(jīng)驗(yàn)與設(shè)計(jì)能力，根據(jù)模態(tài)共享的共同屬性，在思維概念上將聲音和圖像結(jié)合在一起，由此形成新的知識或思考的過程。

（五）機(jī)械傳感

模擬或數(shù)字信息通過機(jī)器傳感器傳輸或能量轉(zhuǎn)換，實(shí)現(xiàn)單模態(tài)之間的形態(tài)轉(zhuǎn)換，機(jī)器將原有感官信息輸出以另一種感官形式展現(xiàn)。例如，1920年托馬斯·威爾弗雷德發(fā)明的以琴鍵演奏聲音控制光彩色的管風(fēng)琴“克拉維勒”； 20世紀(jì)40年代末奧斯卡·費(fèi)欽格發(fā)明的控制光與音樂的光流場設(shè)備儀等。

二、視聽跨模態(tài)研究的感知范疇

“通感”一詞原指特定定義的醫(yī)學(xué)狀況，后被廣泛地形容人類感官、心理能力及隱喻概念。“聯(lián)覺”（Synesthesia）現(xiàn)象最早記錄于1690年，該詞起源于希臘語：Syn-翻譯成Union和Aisthesis的意思，類似于“感官的結(jié)合”?？茖W(xué)家肖恩·戴把聯(lián)覺分為40個(gè)類別，他認(rèn)為感官混合可以是各種各樣的，一個(gè)人可以同時(shí)擁有不同的感官混合現(xiàn)象。根據(jù)英國愛丁堡大學(xué)心理學(xué)家朱莉婭·辛納西姆納（Julia Simner）2006年的報(bào)告調(diào)查發(fā)現(xiàn)，世界上大約有1%～4%的聯(lián)覺者，對于他們來說，當(dāng)大腦處理感官的區(qū)域中接受到來自一種感知的信息后，會在無大腦干預(yù)的情況下自發(fā)性地觸發(fā)一個(gè)或多個(gè)額外區(qū)域的感官體驗(yàn)：即一種模態(tài)的體驗(yàn)也會在另一種或多種模態(tài)中產(chǎn)生反應(yīng)。例如，通感者能聽到香味，能通過顏色感覺到疼痛、聽出味道，能對聲音和圖像產(chǎn)生味覺或嗅覺感受。

關(guān)于通感相關(guān)研究可以追溯到古希臘時(shí)期，亞里士多德和畢達(dá)哥拉斯推測出一種球體的音樂，可以將抽象的振動概念與物理世界聯(lián)系起來。弗朗西斯·高爾頓是一位英國科學(xué)家和探險(xiǎn)家。他的學(xué)術(shù)研究興趣廣泛，包括人類學(xué)、地理、數(shù)學(xué)、力學(xué)、氣象學(xué)、心理學(xué)、統(tǒng)計(jì)學(xué)等，他著重研究個(gè)別差異，從遺傳的角度研究個(gè)別差異形成的原因，開創(chuàng)了優(yōu)生學(xué)。他關(guān)于人類官能的研究開辟了個(gè)體心理和心理測驗(yàn)研究的新途徑。他在其文章《可視化數(shù)字》（Visualized Numerals）中首次正式記錄了科學(xué)背景下的通感，盡管關(guān)于這種情況存在的說法受到了廣泛爭議，但依然引起了對通感進(jìn)行各類科學(xué)測試的風(fēng)潮。當(dāng)代，通過腦部掃描驗(yàn)證的方式撕下了通感的神秘面紗，使它得以被數(shù)據(jù)化的方式驗(yàn)證。

通感在科學(xué)界與藝術(shù)界均引起了研究的風(fēng)潮，藝術(shù)家認(rèn)為通感是一種獲得更高現(xiàn)實(shí)或意識狀態(tài)的神秘工具，實(shí)驗(yàn)心理學(xué)與醫(yī)學(xué)的研究案例則更關(guān)注人類的感知，也由此產(chǎn)生了精神唯心主義和科學(xué)實(shí)證主義之間的緊張關(guān)系，進(jìn)一步刺激了歐洲和美國視覺音樂的發(fā)展。顏色、聲波的震動都被認(rèn)為會產(chǎn)生與生命力相關(guān)的能量，與對精神概念的探索有關(guān)，因此早期通感藝術(shù)中的視覺、聽覺意象都傾向于適應(yīng)抽象符號進(jìn)行表達(dá)。而這些視聽抽象符號在通感藝術(shù)中又與科學(xué)、醫(yī)學(xué)接壤，成為視聽一體、與腦電波等相關(guān)聯(lián)的可以被檢測的具有固定規(guī)律的震動，實(shí)現(xiàn)了藝術(shù)與科學(xué)兩種意義上的聯(lián)通。

移覺，可以建立媒介對等，它以隱喻的方式應(yīng)用了通感的概念。在這里，一種藝術(shù)形式（如音樂、電影、繪畫）是另一種藝術(shù)形式的表現(xiàn)基礎(chǔ)。例如16世紀(jì)末，米蘭藝術(shù)家吉烏塞佩·阿爾金博爾多（Gi-useppe Arcimboldo）提出了將不同顏色的彩紙貼在一種鍵盤樂器上的想法，從而使音樂家能夠演奏一個(gè)音符的同時(shí)看到相應(yīng)的顏色。17世紀(jì)40年代，杰西特·伯納德·卡斯特爾（Je suit Bernard Castel）建造了一架眼用大鍵琴，其外露的彩色玻璃窗與演奏的各個(gè)音符相對應(yīng)。這些發(fā)明說明了媒介等效藝術(shù)的概念，盡管它們沒有為我們提供它們各自創(chuàng)造者通感條件的實(shí)際作品。

典型的移覺案例還包括在20世紀(jì)早期，康定斯基的作品旨在畫布上捕捉音樂的表現(xiàn)力，包括音樂的節(jié)奏、旋律、結(jié)構(gòu)、和弦色彩與強(qiáng)弱運(yùn)動等。

聯(lián)覺是人腦天生的一項(xiàng)特殊功能，它主要發(fā)生在生理層，是生理學(xué)或腦科學(xué)研究的對象；移覺主要是指人的實(shí)時(shí)心理出現(xiàn)的跨感官刺激——反應(yīng)現(xiàn)象。它是人類后天社會心理的感覺自發(fā)行為，主要發(fā)生在心理層，屬于心理學(xué)研究的領(lǐng)域。通感是人類言語行為的自覺建構(gòu)，主要發(fā)生在語言層，是一個(gè)生理聯(lián)覺、心理移覺和語言通感三個(gè)維度的動態(tài)過程。統(tǒng)覺活動主要發(fā)生在心理層，但現(xiàn)今也常應(yīng)用于教育學(xué)，對幼兒至成年人的學(xué)習(xí)過程進(jìn)行感覺統(tǒng)合訓(xùn)練。機(jī)械傳感發(fā)生在工程技術(shù)層，研究機(jī)械制造與通信電子等領(lǐng)域，是當(dāng)今利用科技工具對心理層現(xiàn)象以技術(shù)手段進(jìn)行感官體驗(yàn)、互動表達(dá)的新型研究方向。

隨著電影的出現(xiàn)， 20世紀(jì)20年代的歐洲抽象動畫師，如沃爾特·拉特曼、維京·埃格林、漢斯·里希特、奧斯卡·費(fèi)欽格等，開始關(guān)注音樂對時(shí)間的組織能力，并嘗試使用音樂創(chuàng)作中的配器、交響、賦格曲、對位法等術(shù)語來對視覺畫面進(jìn)行描述與組織，畫面因此可以借助音樂作品的時(shí)間進(jìn)行運(yùn)動。這些動畫電影挑戰(zhàn)了觀眾的視覺感知速度與聽覺的促生、聯(lián)通、彌補(bǔ)、共享關(guān)系。這些有意識的嘗試將音樂形式作為創(chuàng)造性視覺表達(dá)的基礎(chǔ)。

區(qū)別、移覺、聯(lián)覺更加類似于模態(tài)共享，具有將共同情感內(nèi)容的聲音和圖像結(jié)合在一起的能力。奧斯卡·費(fèi)欽格的大部分實(shí)驗(yàn)作品都與視聽模態(tài)之間的共享有關(guān)。介于二戰(zhàn)時(shí)期的歷史原因，費(fèi)欽格拒絕使用形象化的線性敘事，因此他的作品需要通過跨模態(tài)驗(yàn)證喚起相關(guān)審美反應(yīng)，而他對視聽內(nèi)容進(jìn)行的人性化同步細(xì)節(jié)恰恰成為當(dāng)今計(jì)算機(jī)學(xué)習(xí)的重點(diǎn)。

從人類依賴符號思維的最早階段起，聯(lián)覺就已經(jīng)作為一種認(rèn)知能力而存在。費(fèi)欽格在作品中的聯(lián)想維度表現(xiàn)在，他將弦樂的聲音與彎曲抽象圖形弦的意象聯(lián)系起來。代表弦樂器的“弦”意象顯然具有關(guān)聯(lián)性，畫面中線條的粗細(xì)與提琴弦的粗細(xì)（音高）也可能具有關(guān)聯(lián)性。在費(fèi)欽格的作品問世之后，許多動畫電影制作人也模仿他的手法，藝術(shù)地利用視聽聯(lián)覺，以雙模態(tài)藝術(shù)形式創(chuàng)作作品，例如萊里恩的《搖擺蘭貝斯漫步》中小提琴搖擺顫音與風(fēng)琴尖銳的對應(yīng)。即便藝術(shù)家做了非常多抽象的處理，但觀眾在觀看最終作品時(shí)仍然能夠檢測到視聽的關(guān)聯(lián)。因此，聯(lián)覺對應(yīng)性也成為電影美學(xué)表達(dá)和吸引力的一個(gè)組成部分，觀眾可以通過識別音樂和運(yùn)動形狀之間的共同屬性，而不是期待或?qū)ふ覕⑹戮€索，從而在作品中找到審美興趣。例如費(fèi)欽哥《一首光學(xué)詩》中視覺的形狀與勃拉姆斯《第5號匈牙利舞曲》音樂的同步，在感知與認(rèn)知層面都獲得了成功。

進(jìn)入數(shù)字化科技時(shí)代后，模仿人腦的機(jī)械通感產(chǎn)生。模擬和數(shù)字信息通過設(shè)備傳輸，將感官信息輸出到不同于原始數(shù)據(jù)預(yù)期的模態(tài)中。例如，在聲音數(shù)字化的情況下，音樂的屬性采用二進(jìn)制信息的形式，可以轉(zhuǎn)換成不同的視覺不變量。頻道和信息的普遍數(shù)字化消除了形式的差異。在各個(gè)媒體之間，在計(jì)算機(jī)本身內(nèi)部，一切都是一個(gè)數(shù)字。一旦光纖網(wǎng)絡(luò)將以前不同的數(shù)據(jù)流轉(zhuǎn)換成標(biāo)準(zhǔn)化的數(shù)字序列，那么任何媒介都可以轉(zhuǎn)換成其他媒介。

最常見的例子為音頻播放器將聲音數(shù)據(jù)轉(zhuǎn)換成華麗多彩的波形圖像。計(jì)算機(jī)可以對同步播放的音樂做出視覺響應(yīng)，并成為動態(tài)的音樂可視化工具。現(xiàn)代立體聲系統(tǒng)中的圖形均衡器也可以成為可視化聲音數(shù)據(jù)，其中一系列光譜的高度與不同頻帶的音量相對應(yīng)，或者其他現(xiàn)代應(yīng)用程序，如iTunes、MaxMsp都可以進(jìn)行可視化聲音數(shù)據(jù)處理，而Jitter和Gem程序同時(shí)允許對可視化進(jìn)行更深層的編程控制甚至逆轉(zhuǎn)，將圖像轉(zhuǎn)換回聲音。出于這些原因，克里斯托夫·考克斯（Christoph Cox）提出，數(shù)字技術(shù)替代人類的感官，實(shí)現(xiàn)了媒體間的相互翻譯，然而這種能力的背后更多體現(xiàn)的是冰冷的機(jī)械性。

計(jì)算機(jī)可以對這些視覺運(yùn)動進(jìn)行有效的識別，因?yàn)樗鼈兊男螤钆c色彩相對單一，可以輕松地對音樂中的內(nèi)容進(jìn)行識別與量化。顏色與傳統(tǒng)音樂是與情感最接近的視聽信息，而這些經(jīng)典作品都是基于視覺與聽覺思維的基礎(chǔ)習(xí)慣，符合大眾的審美習(xí)慣。抽象動畫家們的創(chuàng)作嘗試都是從認(rèn)知視角對視聽情感信息的量化與提煉，為計(jì)算機(jī)情感學(xué)習(xí)提供了良好的基礎(chǔ)。數(shù)據(jù)也可以用模擬設(shè)備進(jìn)行重新掃描，對傳統(tǒng)的投影儀和賽璐珞膠片進(jìn)行修復(fù)。費(fèi)欽格是最早嘗試 “圖形聲音裝飾”技術(shù)的電影制作人之一，將膠片作為媒介，聲音元素通過視覺數(shù)據(jù)借助電影放映機(jī)的光學(xué)原理讀取器產(chǎn)生。例如，費(fèi)欽格1932年拍攝的《裝飾性聲音》實(shí)驗(yàn)電影就是通過在紙上繪制一系列幾何圖像，然后在底片的光學(xué)配樂部分拍攝圖像而創(chuàng)作的。這種關(guān)聯(lián)依賴于機(jī)器，同樣屬于機(jī)械通感范疇。

三、視聽跨模態(tài)研究的合成效果

當(dāng)電影中相同序列的各種元素，如顏色、相機(jī)運(yùn)動、音樂和形狀，都指向相同的情感時(shí)，各類感官思維疊加通過大腦的合成，便引發(fā)了通感效果。卡爾·普蘭廷加（Carl Plantinga）在其專著《移動觀眾》（Moving Viewers）中首次提出了通感影響的概念，并進(jìn)行了解釋：“觀眾經(jīng)常發(fā)現(xiàn)他們對一種形式刺激的反應(yīng)與對另一種形式刺激的反應(yīng)相吻合?；靵y的剪輯可能適合混亂的音樂，相反，緩慢、流暢的跟蹤鏡頭可能適合芭蕾舞演員優(yōu)雅的動作。我們可以稱之為合成效果。”聯(lián)覺和通感效果之間的區(qū)別在于，聯(lián)覺效果并不是自動或特征性地關(guān)注從一種模態(tài)到另一種模態(tài)的每個(gè)細(xì)節(jié)的直接等價(jià)。相反，它是關(guān)于通過電影相互匹配的廣泛概念制作者對一系列不同表達(dá)手段的精心協(xié)調(diào)。例如奧斯卡·費(fèi)欽格的音樂總體上與畫面的意象一致，在圖像和聲音之間形成一種富有表現(xiàn)力的相互作用。最好的聲音作品既不排斥視覺，也不屈服于視覺，而是放大了媒體和感官形式之間的差異，將注意力吸引到聲音作為一種半自治的力量。應(yīng)用聯(lián)覺情感是另一種協(xié)商音頻和視頻之間可能的對應(yīng)關(guān)系的方式，而不試圖提供或強(qiáng)制兩者之間的直接對等，因此實(shí)現(xiàn)了視聽共享的概念。

與通感藝術(shù)相關(guān)的概念在討論電影媒體的美學(xué)方面具有重要意義。一些構(gòu)成這一龐大、多樣領(lǐng)域的藝術(shù)品最初被稱為“通感”，當(dāng)時(shí)藝術(shù)家認(rèn)為這是一種浪漫的理想，科學(xué)家認(rèn)為這是種奇怪的現(xiàn)象。當(dāng)代，通感藝術(shù)的概念繼續(xù)以浪漫或隱喻的方式在各個(gè)領(lǐng)域被加以應(yīng)用。事實(shí)上，它代表了一系列復(fù)雜的美學(xué)效果和體驗(yàn)，不同的電影實(shí)踐傳統(tǒng)以不同的方式和目的探索和利用聲音和圖像之間的對應(yīng)關(guān)系。這為評論家、學(xué)者和藝術(shù)家提供了研究運(yùn)動圖像中感官對應(yīng)的初步方法。然而，為了進(jìn)一步定義相關(guān)實(shí)踐，并理解時(shí)間上和地理上分散的通感藝術(shù)作品在美學(xué)、創(chuàng)意和技術(shù)方面的相似性和區(qū)別，仍需擴(kuò)大這些劃分的空間。

實(shí)驗(yàn)性電影制作人根據(jù)自己的認(rèn)知和感知能力創(chuàng)作作品，這些能力實(shí)際上是從聯(lián)覺形式汲取的視聽經(jīng)驗(yàn)再現(xiàn)。當(dāng)商業(yè)動畫學(xué)習(xí)到同步的視聽技巧后，便從流行的視角證明了跨模態(tài)視聽同步的普遍吸引力。例如迪士尼首次在標(biāo)志性動畫《威利汽船》（1928）中，將米老鼠的動作與音樂同步，使電影大受好評。無論是具象的擬人米老鼠形象，還是抽象的幾何圖形，都來自認(rèn)知研究的基礎(chǔ)，因此與視覺音樂中視聽同步的魅力相同，米老鼠與音樂的同步也深深吸引著觀眾，而視聽同步技術(shù)對應(yīng)的恰恰是跨模態(tài)驗(yàn)證。

心理學(xué)研究表明，當(dāng)人們以多模態(tài)感知時(shí)，會更加尋求事件在感知模態(tài)上的不變性。如果模式和節(jié)奏在模態(tài)之間得到確認(rèn)，則聲音和圖像所攜帶的信息就被視為單個(gè)事件，這是跨模態(tài)驗(yàn)證的基礎(chǔ)。事實(shí)上，電影媒介是雙模態(tài)的——我們看到和聽到的事件是相互關(guān)聯(lián)的。電影中單獨(dú)的圖像和聲音流可以被構(gòu)造成符合感知系統(tǒng)的標(biāo)準(zhǔn)，從而引發(fā)對電影事件的統(tǒng)一性和真實(shí)性的確認(rèn)。因此，跨模態(tài)驗(yàn)證是人們在日常生活中經(jīng)常使用的一種感知過程，在這種過程中，我們將視覺體驗(yàn)的真實(shí)性與聲音環(huán)境進(jìn)行交叉檢查，如果聲音和視覺事件同時(shí)發(fā)生，我們通常會將這兩種體驗(yàn)作為同一事件的一部分綁定在一起。

這種認(rèn)知技能對抽象動畫中視聽相關(guān)內(nèi)容的發(fā)展意義重大，不僅因?yàn)樗心芰蚪幽B(tài)，同時(shí)也因?yàn)樗m用于人類自身對感知的開發(fā)。隨著電影技術(shù)的發(fā)展與全景聲技術(shù)的普及，在電影屏幕中，當(dāng)人們觀察距離十萬八千里的長鏡頭時(shí)，可以聽到微觀的聲音；當(dāng)看到從屏幕正面飛來的物體時(shí)，聲音的震動可以通過我們腳邊的低音音箱進(jìn)行傳遞；當(dāng)視覺感受到人偶娃娃的優(yōu)雅與可愛的信息時(shí)，聽覺可以獲取與之對立的恐怖哭聲。這些與現(xiàn)實(shí)違和的視聽關(guān)系，并沒有破壞人們經(jīng)驗(yàn)的完整性，反而帶來了更多感官體驗(yàn)方面的培養(yǎng)與開發(fā)。制作抽象動畫的前衛(wèi)電影人在直觀地理解后，將跨模態(tài)驗(yàn)證作為一種方法，大量用于抽象電影中，使其能更好地與廣大觀眾產(chǎn)生共鳴。

四、結(jié)語

計(jì)算機(jī)情感研究領(lǐng)域中識別以視覺思維為主，且對感知層面的信息收集較容易，而一旦進(jìn)入深度情感分析的領(lǐng)域就需要認(rèn)知層面的相關(guān)內(nèi)容，而認(rèn)知具有一定的主觀性、地域性、文化性，且是多感知疊加的一種思維結(jié)果，并非瞬時(shí)感知反映。因此，需要大量的素材庫進(jìn)行模型學(xué)習(xí)的累積，這些素材是藝術(shù)家人為提煉過的、具有一定共識性情感意義的作品。尤其在視聽同步作品中通過藝術(shù)家思維過濾過的視聽符號元素如何同步，具體在哪些特征上進(jìn)行同步，不同感官如何通過通感有效喚起情感的方式等。此時(shí)以費(fèi)欽格等藝術(shù)家為代表的視聽同步作品的價(jià)值意義就得到了較大的提升，不僅對人，對機(jī)器學(xué)習(xí)也可以起到培養(yǎng)的作用。

跨模態(tài)驗(yàn)證說明視聽同步驗(yàn)證的吸引力并非先鋒派藝術(shù)作品獨(dú)有，恰恰相反，它具有一種獨(dú)特且永恒的表現(xiàn)力。從20世紀(jì)20年代末至今，那些零碎實(shí)驗(yàn)中的價(jià)值成果，在商業(yè)電影發(fā)展中持續(xù)被應(yīng)用。例如在1928年迪士尼米老鼠動畫《威利汽船》首播后，很快成為商業(yè)動畫片中定位票價(jià)的標(biāo)準(zhǔn)。20世紀(jì)30年代末，卡通片一直用于描述以音樂為基礎(chǔ)的派對場景或即興歌舞，例如迪斯尼制作的《愚蠢的交響樂》、華納兄弟制作的《快樂旋律》和《兔八哥》、米高梅制作的《歡樂和諧》等。雖然與實(shí)驗(yàn)動畫相比，商業(yè)動畫中的同步視聽之間實(shí)現(xiàn)的更多是相互補(bǔ)充的翻譯功能，但畫面與音樂在主輔關(guān)系上依舊遵照以畫面為首的敘事手段，即便如此，同步技術(shù)和結(jié)果仍然是這些作品吸引觀眾與業(yè)界關(guān)注的核心來源。

因此可以得出結(jié)論：首先，跨模態(tài)學(xué)習(xí)與人的感知系統(tǒng)緊密相連，具有一定的先天審美傾向，并非文化的產(chǎn)物，但后天具有一定的培養(yǎng)空間。其次，感知不是被動的，而是主動的信息收集活動。最后，在同一時(shí)間內(nèi)，多模態(tài)彼此間同步是最容易建立認(rèn)同的方式，這源于人類同時(shí)調(diào)動感官思維的生活習(xí)慣。例如，新生兒并不愿意沉浸在視覺和聽覺刺激中，他們更多的是積極尋求兩種模式之間的聯(lián)系，并以此來學(xué)習(xí)，這是一種本能。在人們與物理世界的互動中，審美體驗(yàn)的種子始終存在，任何視覺場景都可以檢查其抽象性。反過來，藝術(shù)家們對抽象電影中跨模態(tài)驗(yàn)證的傾向同樣來自自身與現(xiàn)實(shí)世界的互動。早期抽象電影藝術(shù)家們創(chuàng)作的高度視聽一體化的作品，本身也成為機(jī)器進(jìn)行跨模態(tài)學(xué)習(xí)的最好借鑒。

作者簡介：

莊曉霓（1985—），女，漢族，上海人，南京藝術(shù)學(xué)院在讀博士，副教授，研究方向：動畫藝術(shù)理論與實(shí)踐。

作者單位：南京藝術(shù)學(xué)院