王思茹 傅凱莉

摘要：文章以視聽聯(lián)覺理論為基點(diǎn)，探究音樂和動(dòng)畫的關(guān)系、視聽聯(lián)覺在動(dòng)畫中的表現(xiàn)形式以及基于視聽聯(lián)覺的音樂動(dòng)畫創(chuàng)作方法。藝術(shù)與藝術(shù)之間是相通的，視覺與聽覺的結(jié)合有利于打破音樂與視覺藝術(shù)之間的界限，從而在視覺藝術(shù)創(chuàng)作領(lǐng)域融入音樂原有的抽象概念，觸發(fā)觀者視聽感官的共通，產(chǎn)生視聽聯(lián)覺效應(yīng)。通過研究視聽聯(lián)覺的定義與內(nèi)涵，分析其中的層級(jí)構(gòu)成，結(jié)合實(shí)現(xiàn)方式和表現(xiàn)形式闡述音樂動(dòng)畫中的視聽聯(lián)覺現(xiàn)象。提出基于視聽聯(lián)覺的音樂動(dòng)畫設(shè)計(jì)方法，展現(xiàn)音樂和動(dòng)畫之間相互詮釋的多重關(guān)系，促進(jìn)音樂與視覺畫面的融合，用音樂詮釋動(dòng)畫，用動(dòng)畫表現(xiàn)音樂。

關(guān)鍵詞：視聽聯(lián)覺;音樂動(dòng)畫;音畫同步;通感

中圖分類號(hào)：J617.6 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1004-9436（2022）03-0-03

0 引言

音樂動(dòng)畫是一種結(jié)合視覺與聽覺的藝術(shù)形式，畫面與音樂在相互闡釋的過程中完成一種雙向運(yùn)動(dòng)[1]。音樂動(dòng)畫運(yùn)用數(shù)字媒體技術(shù)和手段，對(duì)音樂語言和畫面語言進(jìn)行組合表達(dá)，兩者皆可作為主要表現(xiàn)的藝術(shù)形式而存在，整體以音樂審美的方式借由音樂和動(dòng)畫共同傳達(dá)同一主題，從而打破傳統(tǒng)的敘事、剪輯的創(chuàng)作方式。視覺和聽覺是人類最主要的感知系統(tǒng)，兩者之間的通感，也就是視聽聯(lián)覺，屬于最常見的跨系統(tǒng)聯(lián)覺[2]。其中，聯(lián)覺是指人的內(nèi)心世界因?yàn)椴煌兄到y(tǒng)之間的相互對(duì)應(yīng)結(jié)合而產(chǎn)生影響的現(xiàn)象，刺激因素作用于一種通道引發(fā)感覺的同時(shí)，也引發(fā)了其他通道的感覺[3]。在音樂可視化的視聽聯(lián)覺中，最簡(jiǎn)單直觀的方式就是將音樂和動(dòng)態(tài)圖像有機(jī)結(jié)合，也就是動(dòng)畫的形式[4]。文章基于視聽聯(lián)覺理論，探究音樂動(dòng)畫創(chuàng)作的一般規(guī)律和方法，為視聽覺欣賞在動(dòng)畫中更好的結(jié)合提供設(shè)計(jì)思路，為相應(yīng)的基于視聽聯(lián)覺的音樂動(dòng)畫創(chuàng)作提供指導(dǎo)。

1 視聽聯(lián)覺理論

1.1 聯(lián)覺的概念

聯(lián)覺是指人體的一種感官受到刺激后引起其他一種或多種感官系統(tǒng)知覺反應(yīng)，形成的多感官相互作用的現(xiàn)象[5]。聯(lián)覺是無意識(shí)的，屬于心理學(xué)范疇，對(duì)心理的影響是潛移默化的。在生活中，聯(lián)覺可以體現(xiàn)在“電閃雷鳴”時(shí)，人們看到閃電后可能不自覺地想到打雷的聲音，這是因?yàn)楫?dāng)人受到來自視覺這一感官系統(tǒng)的刺激時(shí)，聽覺感官會(huì)自覺準(zhǔn)備好接收相對(duì)應(yīng)的聲音信號(hào)。由此可見，聯(lián)覺所強(qiáng)調(diào)的正是個(gè)體不同感官系統(tǒng)間的互聯(lián)互通，人體生理反應(yīng)將在這一過程中呈現(xiàn)明顯特征。

日常生活中，各種各樣的聯(lián)覺現(xiàn)象使我們的跨感官體驗(yàn)在各類審美活動(dòng)中更加容易被激發(fā)，通常個(gè)體的感覺關(guān)聯(lián)能力越強(qiáng)，則藝術(shù)感知力越敏感[6]。文章將聯(lián)覺理論引入動(dòng)畫設(shè)計(jì)領(lǐng)域，旨在創(chuàng)新動(dòng)畫設(shè)計(jì)的表現(xiàn)思路，進(jìn)一步提升其藝術(shù)表現(xiàn)力。

1.2 聯(lián)覺的層級(jí)構(gòu)成

結(jié)合金開誠先生的文章《藝術(shù)通感的心理內(nèi)容》中對(duì)聯(lián)覺的劃分[7]，以及陳育德先生的心覺內(nèi)容，可以將聯(lián)覺根據(jù)其構(gòu)成方式和特點(diǎn)劃分為感覺挪移、多覺疊加、意象互通三個(gè)層級(jí)[8]。

感覺挪移是三個(gè)層級(jí)中最初級(jí)的一種形式，是指一種感官受到刺激后產(chǎn)生的感覺引起另一種感官的感覺，具有自發(fā)性和直觀性。就像日常生活中嗅覺與味覺之間的挪移，聞到很香的食物氣味會(huì)刺激到味覺感官，從而食欲也被嗅覺感官所接收到的氣味信號(hào)所激發(fā)。

多覺疊加是在感覺挪移的基礎(chǔ)上多層次多角度地聯(lián)系更多的感覺系統(tǒng)。僅僅是感覺表象的結(jié)合并不能構(gòu)成多覺疊加，而是不同的感覺表象通過聯(lián)想被多層次地表現(xiàn)出來，以感覺經(jīng)驗(yàn)為基礎(chǔ)產(chǎn)生連鎖反應(yīng)。

通常情況下，說到聯(lián)覺，大部分人都會(huì)和五官的感覺聯(lián)系起來，然而從更全面的角度而言，人的思維活動(dòng)、內(nèi)在情感也能夠產(chǎn)生聯(lián)覺。這兩者也正是意象互通中“意”的含義，而“象”是指帶有物質(zhì)屬性的客觀事物的外在表現(xiàn)。所謂意象，就是傳播情感，表達(dá)意象。意象互通體現(xiàn)了人的主觀性與物的客觀性之間的相互滲透、相互詮釋，是在感覺挪移基礎(chǔ)上的一種升華。

1.3 視聽聯(lián)覺

視聽聯(lián)覺是視覺感官與聽覺感官之間形成互補(bǔ)并一起發(fā)生作用的現(xiàn)象。在聯(lián)覺情況下，相對(duì)應(yīng)的視覺心理感受是由聽覺接收聲音信號(hào)后不受主觀意識(shí)的控制且自發(fā)引起的[2]。

在心理學(xué)方面，眼睛和耳朵這兩種感覺器官接收的信號(hào)形式不同，但在兩種信號(hào)間也存在一定的相似性和共通性。很多人可能有過類似的經(jīng)歷，即當(dāng)我們的聽覺接收到一段旋律的時(shí)候，腦?？赡苡楷F(xiàn)出當(dāng)時(shí)在聽這首音樂時(shí)所對(duì)應(yīng)的畫面，從而情緒也跟隨這段旋律發(fā)生相應(yīng)的變化，這是因?yàn)楫?dāng)視聽覺感官同時(shí)接收對(duì)應(yīng)的信號(hào)刺激時(shí)，兩者共同作用于腦機(jī)制，彌補(bǔ)視覺感官相對(duì)應(yīng)的聽覺感受，以及聽覺感官相對(duì)應(yīng)的視覺傳達(dá)，相互作用，形成視聽聯(lián)覺。

2 音樂動(dòng)畫中的視聽聯(lián)覺

2.1 音樂動(dòng)畫中視聽聯(lián)覺的特征

郭醒乙在《音樂動(dòng)畫和多媒體交互設(shè)計(jì)》一書中寫道：音樂動(dòng)畫的融合不僅僅是節(jié)奏、旋律的把握和音樂角色與動(dòng)畫角色間的音畫對(duì)位，還包括對(duì)應(yīng)喜怒哀樂的情感色彩等問題[9]。這一系列問題都會(huì)影響到觀者在觀看音樂動(dòng)畫過程中的視聽聯(lián)覺體驗(yàn)。

首先，音樂動(dòng)畫中的視聽聯(lián)覺往往呈現(xiàn)對(duì)應(yīng)性特點(diǎn)，通過與音樂各個(gè)元素相對(duì)應(yīng)的畫面來彌補(bǔ)單一音樂形式對(duì)歌曲意境、氛圍、背后故事線等方面的表達(dá)。通過視覺畫面的輔助加深人們對(duì)歌曲內(nèi)涵的理解，也通過與畫面相對(duì)應(yīng)的音樂中的各元素來彰顯動(dòng)畫的表達(dá)意圖，凸顯動(dòng)畫的主題含義。

其次，音樂動(dòng)畫中的視聽聯(lián)覺也呈現(xiàn)整體性特點(diǎn)?！端囆g(shù)與視覺感知》一書中寫道：知覺的經(jīng)驗(yàn)并非感覺元素的集合，而是一個(gè)統(tǒng)一的整體[10]。即知覺的整體性。情感的傳播與接收是觸發(fā)觀者知覺的一大因素，并在整個(gè)過程中持續(xù)存在。如前所述，意象互通是聯(lián)覺創(chuàng)作中非常重要的一部分，在音樂動(dòng)畫的表現(xiàn)過程中，觀者在音樂與畫面的相互配合下對(duì)創(chuàng)作者所要表達(dá)的情感會(huì)有所領(lǐng)悟，主觀思維和內(nèi)在情感呈現(xiàn)持續(xù)推進(jìn)的趨勢(shì)，呈現(xiàn)整體性特點(diǎn)。

2.2 音樂動(dòng)畫中視聽聯(lián)覺的表現(xiàn)形式

在音樂動(dòng)畫中實(shí)現(xiàn)視聽聯(lián)覺的最佳方式是音畫并行，即聲音與畫面的對(duì)應(yīng)設(shè)計(jì)。音樂動(dòng)畫的畫面風(fēng)格可以是抽象的，也可以是具象的，視聽聯(lián)覺的一些表現(xiàn)形式也涵蓋在這兩類風(fēng)格中。無論表現(xiàn)形式是抽象的還是具象的，其中的視聽聯(lián)覺都是基于音畫并行實(shí)現(xiàn)的。

2.2.1 抽象風(fēng)格表現(xiàn)形式

抽象風(fēng)格主要以幾何圖形、線條、不規(guī)則圖形等為元素，從音樂的抽象概念出發(fā)，將音樂的音色、節(jié)奏、響度、旋律等因素對(duì)應(yīng)為圖形、線條等元素的變化，使圖形與音樂中的旋律等因素相匹配，從而使觀者產(chǎn)生音樂與圖形變化趨勢(shì)之間的視聽聯(lián)覺效應(yīng)。

例如，抽象派動(dòng)畫大師奧斯卡·費(fèi)欽格所創(chuàng)作的抽象動(dòng)畫《視覺詩歌》，不同樂器發(fā)出的不同音色以不同形狀的圖形呈現(xiàn)。在其作品《研究第六號(hào)》中，表現(xiàn)不同的旋律時(shí)使用了以不同角度、不同密度、不同方向運(yùn)動(dòng)的圖形，旋律的調(diào)性呈上升和下降趨勢(shì)時(shí)，分別以鈍角形態(tài)和月牙形態(tài)快速移動(dòng)或相互交錯(cuò)。在同系列作品《研究第七號(hào)》中，音樂的不同響度以不同的形狀和面積呈現(xiàn)。音樂的音色、旋律、響度、節(jié)奏就這樣與圖形的形狀、方向、面積、位置同步對(duì)應(yīng)，共同作用于觀者的視聽感官，并隨之形成基于“音畫并行”的視聽聯(lián)覺體驗(yàn)。

2.2.2 具象風(fēng)格的表現(xiàn)形式

具象風(fēng)格是基于人物角色、故事情節(jié)等具體元素而創(chuàng)作的畫面。以故事線為整體架構(gòu)，場(chǎng)景、空間的變化對(duì)應(yīng)節(jié)奏、旋律的走向，使觀者對(duì)音樂中與畫面情節(jié)對(duì)應(yīng)的歌詞內(nèi)容、場(chǎng)景變幻對(duì)應(yīng)的節(jié)奏走向以及空間延伸所對(duì)應(yīng)的旋律起伏等產(chǎn)生視聽聯(lián)覺。

《黃色潛水艇》是披頭士樂隊(duì)同名單曲相對(duì)應(yīng)的音樂動(dòng)畫短片，人物形象、場(chǎng)景以及風(fēng)格均來自20世紀(jì)60年代與其同名的經(jīng)典音樂動(dòng)畫長(zhǎng)片。這部具象風(fēng)格的音樂動(dòng)畫短片帶給人的視聽聯(lián)覺正是基于音畫并行實(shí)現(xiàn)的，音樂與畫面同步進(jìn)行，每句歌詞所描述的情景都有相對(duì)應(yīng)的畫面呈現(xiàn)。例如，第一句歌詞“在我出生的小鎮(zhèn)子里”，對(duì)應(yīng)畫面是一個(gè)人走在小鎮(zhèn)的路上。接著第二句歌詞“生活著一個(gè)老水手”所承接的畫面是老水手開著潛水艇的鏡頭。到高潮副歌時(shí)，旋律明顯更加歡快和律動(dòng)，對(duì)應(yīng)的畫面節(jié)奏也更加緊湊。音畫并行的表現(xiàn)方式就這樣貫穿整部音樂動(dòng)畫，相對(duì)應(yīng)的畫面情景和歌詞分別通過視覺感官和聽覺感官同步被觀者感知到，形成視聽聯(lián)覺。

《黃色潛水艇》這部音樂動(dòng)畫短片以黃色潛水艇為載體，時(shí)刻傳達(dá)著愛與和平的信息。整首歌曲旋律平緩，畫面節(jié)奏有序呈現(xiàn)，再加上具象畫面下音畫并行產(chǎn)生的視聽聯(lián)覺，整部音樂動(dòng)畫短片的立意以及帶給觀者的視聽體驗(yàn)和動(dòng)畫主題思想都能更好地被傳達(dá)和感知。

3 基于視聽聯(lián)覺的音樂動(dòng)畫設(shè)計(jì)

3.1 基于視聽聯(lián)覺的音樂動(dòng)畫設(shè)計(jì)流程

在設(shè)計(jì)一部音樂動(dòng)畫時(shí)，可以根據(jù)出發(fā)點(diǎn)、立意以及主題思想確定畫面風(fēng)格是抽象還是具象。如果單純想讓一首音樂的旋律、節(jié)奏、音色、響度更生動(dòng)形象地被聽眾感知，那么運(yùn)用圖形、線條、幾何體等形式創(chuàng)作出的抽象動(dòng)畫更能夠增強(qiáng)觀者對(duì)音樂旋律、節(jié)奏的體驗(yàn)。首先，根據(jù)音樂中的這些因素制作出與之相對(duì)應(yīng)的靜態(tài)圖形。其次，制作圖形的運(yùn)動(dòng)軌跡和變化形式。最后，同步對(duì)應(yīng)音樂的旋律、節(jié)奏、響度、音色等，為觀者呈現(xiàn)音樂與圖形一體式的抽象音樂動(dòng)畫。

如果創(chuàng)作一部音樂動(dòng)畫的初衷是說明一條故事線，從而傳達(dá)某種主題思想的話，那么帶有人物場(chǎng)景的這種具象動(dòng)畫更合適。首先，先確定動(dòng)畫主題和選用的音樂類型。其次，確定與創(chuàng)作主題相匹配的音樂是采用現(xiàn)有歌曲還是自行創(chuàng)作，無論采用哪種方式，音樂的創(chuàng)作都應(yīng)比動(dòng)畫創(chuàng)作早一步完成，這樣對(duì)于后面畫面中的故事情節(jié)、節(jié)奏感、主題表達(dá)等方面的設(shè)計(jì)而言，能更加和諧地同步對(duì)應(yīng)音樂的歌詞內(nèi)容、旋律、情感抒發(fā)等因素[1]。如果采用現(xiàn)有的歌曲，動(dòng)畫表達(dá)上會(huì)存在一定的局限性，會(huì)受到原有歌詞、旋律等的限制。如果自行創(chuàng)作與動(dòng)畫主題相應(yīng)的音樂，無論音樂創(chuàng)作還是動(dòng)畫設(shè)計(jì)上都相對(duì)靈活，能夠彼此之間相互調(diào)試，達(dá)到越來越高的契合度。最后，實(shí)現(xiàn)音畫并行，人物情節(jié)和情感基調(diào)一一對(duì)應(yīng)，同步發(fā)展?；谝暵犅?lián)覺創(chuàng)作這種帶有故事線和畫面情節(jié)的音樂動(dòng)畫時(shí)，歌詞和節(jié)奏就是連接音樂和動(dòng)畫畫面的關(guān)鍵點(diǎn)[11]。

3.2 音畫并行設(shè)計(jì)流程

基于音畫并行的設(shè)計(jì)方法，畫面根據(jù)歌曲進(jìn)行同步卡點(diǎn)設(shè)計(jì)在音樂動(dòng)畫設(shè)計(jì)流程中屬于最后一步，也是最重要的環(huán)節(jié)。

首先，根據(jù)確定好的音樂和畫面類型繪制畫面元素。如果是具象音樂動(dòng)畫，根據(jù)音樂類型確定色彩風(fēng)格，根據(jù)歌詞內(nèi)容確定人物角色和場(chǎng)景;如果是抽象動(dòng)畫，根據(jù)不同樂器的音色特點(diǎn)確定與之對(duì)應(yīng)的不同圖形。

其次，將繪制好的畫面卡點(diǎn)對(duì)應(yīng)到音樂中。因?yàn)榫呦髣?dòng)畫的畫面表達(dá)相對(duì)于抽象畫面更加細(xì)致，所以與音樂的對(duì)應(yīng)大部分是基于情節(jié)和旋律的對(duì)應(yīng)。抽象畫面中畫面與音樂各元素的卡點(diǎn)對(duì)應(yīng)越密集、越準(zhǔn)確，音樂動(dòng)畫的聯(lián)覺體驗(yàn)就越強(qiáng)烈。抽象畫面的卡點(diǎn)對(duì)應(yīng)是將繪制好的圖形根據(jù)音樂中各元素逐幀同步對(duì)應(yīng)，在圖形與音樂精準(zhǔn)卡點(diǎn)的基礎(chǔ)上實(shí)現(xiàn)基于音畫并行的視聽聯(lián)覺。

最后，作最終的動(dòng)態(tài)調(diào)整。在具象動(dòng)畫中，確保與音樂對(duì)應(yīng)的人物角色、場(chǎng)景、故事情節(jié)走向等與音樂同步進(jìn)行時(shí)能夠連貫通暢，根據(jù)音樂的歌詞內(nèi)容和旋律不斷調(diào)整相對(duì)應(yīng)畫面的貼合度、節(jié)奏的把控以及色彩的適應(yīng)區(qū)間，在此基礎(chǔ)上同步推進(jìn)音樂動(dòng)畫情節(jié)的發(fā)展。在抽象動(dòng)畫中，反復(fù)逐幀調(diào)整圖形的方向、排列、速度、面積等，使之與音樂中各元素精準(zhǔn)卡點(diǎn)對(duì)應(yīng)，使抽象畫面與音樂無縫銜接，不斷優(yōu)化音畫并行帶給觀者的視聽聯(lián)覺體驗(yàn)。

4 結(jié)語

在音樂動(dòng)畫中，畫面與音樂的同步結(jié)合在觀者接收故事情節(jié)、主題思想、旋律節(jié)奏等因素時(shí)創(chuàng)造了一種最優(yōu)方式，觀者也在這種同步性中產(chǎn)生了視聽聯(lián)覺。畫面的存在更好地表達(dá)了動(dòng)畫的思想，而音樂的存在通過不同的節(jié)奏氛圍使藝術(shù)感染力更加深入人心。

在數(shù)字媒體技術(shù)快速發(fā)展的今天，創(chuàng)作音樂動(dòng)畫受到的風(fēng)格和技術(shù)限制越來越少，多元化的發(fā)展趨勢(shì)為音樂動(dòng)畫創(chuàng)造了更多的可能性以及自由創(chuàng)新性。音樂與動(dòng)畫越來越多的結(jié)合方式和表現(xiàn)手法會(huì)在這個(gè)信息化、藝術(shù)多元化的時(shí)代不斷創(chuàng)新，兩者之間更多深層次的關(guān)系也將不斷被挖掘，并與數(shù)字媒體技術(shù)相結(jié)合進(jìn)行不斷的探索、創(chuàng)新和嘗試，音樂動(dòng)畫的新時(shí)代在這種大趨勢(shì)下將變得觸手可及。

參考文獻(xiàn)：

[1] 付龍.從動(dòng)畫音樂到音樂動(dòng)畫[J].當(dāng)代電影，2015（10）：153.

[2] 王晨萌.基于視聽聯(lián)覺的《春江花月夜》視覺化表達(dá)[D].岳陽：湖南理工學(xué)院，2021.

[3] 王海濱.聯(lián)覺：音樂臻達(dá)情感的心理機(jī)制[J].才智，2017（16）：229.

[4] 黃詩謠.抽象動(dòng)畫中的音樂可視化表現(xiàn)研究[D].北京：北京服裝學(xué)院，2018.

[5] 黎莎.略論“聯(lián)覺”與“通感”的異同[J].黃河之聲，2020（14）：112.

[6] 于西.音畫互動(dòng)中的視聽聯(lián)覺設(shè)計(jì)[D].南京：南京藝術(shù)學(xué)院，2021.

[7] 金開誠.藝術(shù)通感的心理內(nèi)容[J].社會(huì)科學(xué)，1980（6）：130-132.

[8] 陳育德.靈心妙悟：藝術(shù)通感論[M].合肥：安徽教育出版社，2005：39-56.

[9] 郭醒乙.音樂動(dòng)畫和多媒體交互設(shè)計(jì)[M].北京：線裝書局出版社，2013：107-110.

[10] 魯?shù)婪颉ぐ⒍骱Ｄ?藝術(shù)與視知覺[M].加州：加州大學(xué)出版社，2004：106.

[11] 馮爽妮.音樂動(dòng)畫中性愛藝術(shù)表現(xiàn)探究與實(shí)踐[D].北京：清華大學(xué)，2017.

作者簡(jiǎn)介：王思茹（1999—），女，山東聊城人，碩士在讀，研究方向：數(shù)媒與影像數(shù)字化。

傅凱莉（1988—），女，江蘇蘇州人，博士，講師，研究方向：實(shí)證美學(xué)、感性工程學(xué)、用戶體驗(yàn)設(shè)計(jì)。