文／朱文濤（江南大學(xué) 設(shè)計(jì)學(xué)院）

音樂(lè)是無(wú)形的聲音藝術(shù)，也是擅長(zhǎng)加工時(shí)間信息的藝術(shù)，視覺(jué)藝術(shù)擅長(zhǎng)于加工具體的空間和運(yùn)動(dòng)信息，兩者有著獨(dú)立藝術(shù)處理方式。然而，很早人們就發(fā)明可見(jiàn)方式來(lái)記錄音樂(lè)作品，也不斷嘗試通過(guò)視覺(jué)形象建立與聽(tīng)覺(jué)體驗(yàn)一致的感官共鳴?，F(xiàn)代科學(xué)同樣證實(shí)，突出的聲音會(huì)自動(dòng)激活視覺(jué)皮層，視覺(jué)和聽(tīng)覺(jué)能夠跨通道相互整合[1]。人們探索在空間和運(yùn)動(dòng)中“看見(jiàn)”音樂(lè)，開(kāi)啟了“音樂(lè)視覺(jué)化”廣泛自由的設(shè)計(jì)與創(chuàng)作空間。

視覺(jué)形式描繪音樂(lè)是一項(xiàng)復(fù)雜任務(wù)，其中的關(guān)鍵是如何在兩種獨(dú)立成熟體系之間建立關(guān)聯(lián)，提供視聽(tīng)合理對(duì)應(yīng)的策略。筆者嘗試引入一種“結(jié)構(gòu)主義”的方法視角?！苯Y(jié)構(gòu)”不僅在于層級(jí)關(guān)系與多向性的連接，而且各種復(fù)雜實(shí)踐與現(xiàn)象都是基于深層結(jié)構(gòu)上的意義再造[2]?！敖Y(jié)構(gòu)主義”作為透過(guò)表象把握“底層關(guān)系”的方法，有助于本文分析音樂(lè)視覺(jué)化的概念內(nèi)核，并嘗試建立一個(gè)以映射作為底層關(guān)系的方法框架。各種音樂(lè)的視覺(jué)表達(dá)，都是這一方法系統(tǒng)內(nèi)在邏輯上的拓展。

一、概念的邊界：“音樂(lè)視覺(jué)化”定義

音樂(lè)視覺(jué)化研究在西方可以追溯數(shù)百年前甚至更久，卻始終沒(méi)有形成清晰的學(xué)術(shù)邊界與定義。牛津藝術(shù)實(shí)踐研究平臺(tái)有一篇文章《關(guān)于“音樂(lè)視覺(jué)化”的形式和越界》（Forms and TransgressionsRegarding“MusicVisualization” ）[3]就對(duì)此有過(guò)深入探討：“音樂(lè)可視化具有很強(qiáng)的藝術(shù)性，同時(shí)也是知識(shí)與學(xué)術(shù)的研究，模糊的研究邊界使其始終難以定義，卻也形成各種可能性”?！耙魳?lè)視覺(jué)化”概念之不明確來(lái)自其在眾多交叉領(lǐng)域的實(shí)踐，它是音樂(lè)教育與表演的重要組成內(nèi)容，也推動(dòng)著視覺(jué)藝術(shù)在時(shí)空觀念上的表達(dá)，技術(shù)上與工程和數(shù)字技術(shù)深度融合，拓展了影像敘事與娛樂(lè)的方式，同時(shí)也是美學(xué)與心理學(xué)的綜合感官研究。音樂(lè)視覺(jué)化在不同領(lǐng)域的研究展開(kāi)，推動(dòng)其概念的不斷修正。對(duì)于“音樂(lè)視覺(jué)化”更有效的定義，在于“重新審視其目標(biāo)本身與研究模式的發(fā)展過(guò)程”[3]。因而，我們需要著手回顧兩種藝術(shù)在漫長(zhǎng)復(fù)雜的關(guān)聯(lián)歷史中所嘗試解決的問(wèn)題與目標(biāo)，從而逐步明晰其概念的邊界。

1.1 功能分野中的概念深化

音樂(lè)天生是一種歷時(shí)體驗(yàn)，音符聽(tīng)見(jiàn)就消失了。人類很早就在尋找捕獲與保存口頭記憶音樂(lè)作品的方法，各種文化都出現(xiàn)了符號(hào)標(biāo)記音樂(lè)信息的系統(tǒng)視覺(jué)形式：樂(lè)譜。樂(lè)譜是最早的音樂(lè)視覺(jué)化設(shè)計(jì)。中國(guó)最古老樂(lè)譜是在敦煌發(fā)現(xiàn)的由20個(gè)“譜字”標(biāo)示音高的唐代琵琶譜。西方最早樂(lè)譜大約發(fā)現(xiàn)在公元1世紀(jì)，在古希臘的賽基洛斯（Seikilos）墓志銘的文本上方，刻著一系列字母與點(diǎn)線符號(hào)，表示歌唱的音高與時(shí)長(zhǎng)。西方中世紀(jì)流行的紐姆記譜（Neumes）是這種形式的發(fā)展，使用羽毛筆和稀有紙張，配有圖案的精心描繪，有著獨(dú)特的審美文化。16世紀(jì)左右，“五線譜”記譜法在西方出現(xiàn)，最終發(fā)展為一種現(xiàn)代通用音樂(lè)符號(hào)（CMN/Common Music Notation）。CMN以通用標(biāo)準(zhǔn)完整地記錄保存了各種音樂(lè)信息，帶來(lái)音樂(lè)的廣泛傳播[4]，確立音樂(lè)視覺(jué)化最基礎(chǔ)的實(shí)用功能。

音樂(lè)也是一種實(shí)時(shí)現(xiàn)場(chǎng)的藝術(shù)表演，這讓人們思考視覺(jué)除了記錄功能之外，是否能與聽(tīng)覺(jué)一起“同步共時(shí)”出現(xiàn)。最早人們嘗試將音樂(lè)和色光同步，從18世紀(jì)的路易·卡斯特（Louis Bertrand Castel）、19世紀(jì)末的華萊士·林明頓（A.Wallace Rimington）到20世紀(jì)初的托馬斯·威爾弗雷德（Thomas Wilfred）等人都在探索一種裝置，當(dāng)按下琴鍵就會(huì)觸發(fā)對(duì)應(yīng)的光色投影，統(tǒng)稱為光色樂(lè)器（Color Organs）。音樂(lè)在視覺(jué)上的“實(shí)時(shí)性”還啟發(fā)了通過(guò)“樂(lè)譜”進(jìn)行演奏的設(shè)計(jì)。19世紀(jì)末，人們嘗試一種能演奏的樂(lè)譜：“音樂(lè)卷”（Music-roll），在一個(gè)連續(xù)的紙卷上各種穿孔的位置對(duì)應(yīng)不同音高時(shí)長(zhǎng)，通過(guò)機(jī)械裝置讀取這些孔洞來(lái)操作鋼琴的自動(dòng)表演。

探索音樂(lè)與客觀形態(tài)的同步，啟示人們深入視聽(tīng)主體感官上的聯(lián)系。音樂(lè)通過(guò)聽(tīng)覺(jué)激發(fā)起實(shí)時(shí)的情緒感知，常常關(guān)聯(lián)著人們的肢體與表情，并與視覺(jué)產(chǎn)生“共通”的感知效應(yīng)，人們稱之為“聯(lián)覺(jué)”（Synesthesia）。聯(lián)覺(jué)理論打破傳統(tǒng)的感官分離，在一種感官中找到另一種感官同等效應(yīng)的知覺(jué)。19世紀(jì)末，“聯(lián)覺(jué)”體驗(yàn)在藝術(shù)創(chuàng)作中流行，美術(shù)家和音樂(lè)家都試圖在音樂(lè)的音符、和聲、樂(lè)章和結(jié)構(gòu)中尋找相似的視覺(jué)形式、色彩、空間與運(yùn)動(dòng)[5]。1911年， 康定斯基（Wassily Kandinsky）在《藝術(shù)的精神》中論述繪畫(huà)“聯(lián)覺(jué)”的創(chuàng)作：“顏色好比琴鍵，眼睛好比音槌，心靈仿佛是繃滿弦的鋼琴。藝術(shù)家就是彈琴的手，它有目的地彈奏各個(gè)琴鍵來(lái)使人的精神產(chǎn)生各種波瀾和反響?！盵6]幾乎同一時(shí)期，音樂(lè)家斯克里亞賓（Alexander Scriabin）創(chuàng)作了交響樂(lè)作品《普羅米修斯：火的詩(shī)》（Prometheus:The Poem of Fire），專門(mén)實(shí)踐了一種從音樂(lè)出發(fā)形成“聯(lián)覺(jué)”的實(shí)時(shí)表演，在巨大表演空間中，音樂(lè)與光色投影互動(dòng)交織，2010年重現(xiàn)仍帶給觀眾震撼人心的效果。

從“音樂(lè)譜”到“光色音樂(lè)表演”，早期的音樂(lè)視覺(jué)化形成實(shí)用與審美的根本分野。此外，兩者在視聽(tīng)信息的轉(zhuǎn)化方式上也有所不同，各種樂(lè)譜系統(tǒng)建立的是靜態(tài)音樂(lè)的視覺(jué)符指（Graphic notation），而在“光色樂(lè)器”中，出現(xiàn)音樂(lè)的“視覺(jué)映射”（Visual Map）萌芽和視聽(tīng)之間連續(xù)變化的動(dòng)態(tài)對(duì)應(yīng)關(guān)系。

1.2 技術(shù)背景下的概念外延

20世紀(jì)的前半葉與后半葉，分別出現(xiàn)兩種媒介技術(shù)：電影技術(shù)與數(shù)字信息技術(shù)。兩者推動(dòng)音樂(lè)視覺(jué)創(chuàng)作觀念和方法上的豐富與成熟。

電影膠卷技術(shù)提供了視覺(jué)形象在時(shí)間維度上的呈現(xiàn)，與音樂(lè)的時(shí)間性建立同構(gòu)基礎(chǔ)。一批杰出創(chuàng)作者利用電影媒介表達(dá)音樂(lè)，例如維京·埃格林（Viking Eggeling）、漢斯·里希特（Hans Richter）、沃爾特魯特曼（Walter Ruttmann）和奧斯卡·費(fèi)欽格（Oskar Fischinger）。他們改變抽象形狀在逐幀屏幕中的位置，利用膠卷剪輯賦予視覺(jué)圖形的運(yùn)動(dòng)張力。在電影領(lǐng)域，這種創(chuàng)作稱為“抽象電影”（Abstract Film），而在音樂(lè)視覺(jué)化領(lǐng)域，也被稱為“視覺(jué)音樂(lè)”（Visual Music）。理論家布萊恩·埃文斯（Brian Evans）在《視覺(jué)音樂(lè)基礎(chǔ)》中對(duì)這些作品進(jìn)行定義：“基于時(shí)間的視覺(jué)圖像，是以一種類似于“絕對(duì)音樂(lè)”的方式建立了歷時(shí)性的架構(gòu)。”[7]“絕對(duì)音樂(lè)”是主張消除主題內(nèi)容的純音樂(lè)形式的美學(xué)，埃文斯強(qiáng)調(diào)“視覺(jué)音樂(lè)”的音樂(lè)動(dòng)機(jī)，是在音樂(lè)形式上建構(gòu)視覺(jué)的抽象形式。另一位著名理論家威廉·莫里茨（William Moritz）對(duì)“視覺(jué)音樂(lè)”提出更寬泛的認(rèn)識(shí)。他認(rèn)為費(fèi)欽格的作品有著音樂(lè)與視覺(jué)的雙重動(dòng)機(jī)，在視覺(jué)上也有更多具象與敘事因素。正如藝術(shù)家斯坦·布拉漢奇（Stan Brakhage）的很多作品是無(wú)聲的，但他認(rèn)為他創(chuàng)作的是一種“視覺(jué)音樂(lè)”，他并沒(méi)有將視覺(jué)作為音樂(lè)的形式替代，而是創(chuàng)建一種模擬音樂(lè)的視覺(jué)語(yǔ)言，從視覺(jué)動(dòng)機(jī)出發(fā)，實(shí)現(xiàn)音樂(lè)表現(xiàn)的意圖[8]。利用電影技術(shù)的“視覺(jué)音樂(lè)”，比起之前音樂(lè)轉(zhuǎn)化視覺(jué)的創(chuàng)作更具探索空間。

很早人們就利用聲音的物理特征與媒介傳播，建立一種聲音具象化的“音流學(xué)”進(jìn)行研究。隨著20世紀(jì)后半葉數(shù)字技術(shù)的發(fā)展，視聽(tīng)感官中聲波與光波的物理特征，可以通過(guò)數(shù)字信息進(jìn)行描述，數(shù)字媒介成為聲音與形象之間建立映射關(guān)系最充分的中介，音樂(lè)視覺(jué)內(nèi)化為一種“數(shù)據(jù)可視化”。愛(ài)德華·塔夫特（Edward Tufte）認(rèn)為數(shù)據(jù)的可視化可以解放傳統(tǒng)數(shù)據(jù)的密度和維度，接近更為日常真實(shí)的空間維度的感知世界[9]。真實(shí)世界的聲音在波形、結(jié)構(gòu)以及情感上的特征變化極其豐富，這是傳統(tǒng)CMN通用符號(hào)無(wú)法涵蓋的。正如丹尼伯格（R.B.Dannenberg）指出， 數(shù)字技術(shù)的音樂(lè)可視化，將實(shí)現(xiàn)人們使用多元化的視覺(jué)來(lái)映射不同音樂(lè)特征，不僅擴(kuò)展了可視化“樂(lè)譜”的范圍，還可以包含更多音樂(lè)數(shù)據(jù)的形象呈現(xiàn)與功能分析[10]。例如音樂(lè)播放器的可視化插件Milkdrop，可以按照聲音的波形數(shù)據(jù)通過(guò)算法創(chuàng)建不同視覺(jué)效果。數(shù)字技術(shù)也是視覺(jué)表達(dá)音樂(lè)的最好工具，上世紀(jì)90年代出現(xiàn)的“影像騎師”（VJ/Video Jockey），延續(xù)早期“色彩樂(lè)器”的思路，根據(jù)音樂(lè)特征實(shí)時(shí)創(chuàng)作同步的視覺(jué)畫(huà)面，源自VJ數(shù)字系統(tǒng)的發(fā)展，基于音頻數(shù)據(jù)算法，通過(guò)視覺(jué)著色器和特效程序，實(shí)現(xiàn)實(shí)時(shí)的視覺(jué)映射，數(shù)字技術(shù)在不斷豐富“視覺(jué)視覺(jué)化”概念的外延。

1.3 概念的構(gòu)成與分類

從發(fā)展線索梳理，筆者嘗試從兩個(gè)維度去認(rèn)識(shí)音樂(lè)視覺(jué)化概念，其一是實(shí)用和審美的功能維度，其二是音樂(lè)和視覺(jué)的創(chuàng)作動(dòng)機(jī)維度。以兩個(gè)維度為坐標(biāo)軸，形成一個(gè)對(duì)音樂(lè)可視化不同內(nèi)容的“矩陣分布”，可以將其劃分為4種類型（見(jiàn)圖1），這也大致接近于西方研究者的觀點(diǎn)[3]。

圖1 音樂(lè)視覺(jué)化概念構(gòu)成與分類

第一類是“音樂(lè)譜”（Musical Score）。這是從音樂(lè)動(dòng)機(jī)出發(fā)，滿足記錄分析、演奏、教育等實(shí)用功能，包括從聲音物理圖譜以及樂(lè)理視覺(jué)信息等超越西方原先記譜法局限性的形式。

第二類是“音樂(lè)可視化”（Musical Information Visualization）。這是近年來(lái)處理音樂(lè)數(shù)據(jù)常用術(shù)語(yǔ)[11]，從音樂(lè)動(dòng)機(jī)出發(fā)，將音樂(lè)轉(zhuǎn)化為數(shù)據(jù)進(jìn)行可視化，既是對(duì)聲音特性與音樂(lè)結(jié)構(gòu)的分析，同時(shí)也賦予一定抽象審美形式或是交互功能，而具有一定商業(yè)娛樂(lè)價(jià)值。

第三類是“視覺(jué)音樂(lè)”（Visual Music）。在創(chuàng)作動(dòng)機(jī)上以構(gòu)成方法與影像空間手段形成音樂(lè)與視覺(jué)的平衡，達(dá)到埃文斯在《視覺(jué)音樂(lè)基礎(chǔ)》上提出的“視覺(jué)共鳴”（Visual Consonance）的標(biāo)準(zhǔn)[8]。這主要有抽象電影、視覺(jué)音樂(lè)實(shí)時(shí)表演等。

第四類是“聲音視像”（Audio-Vision）。這一提法出自法國(guó)電影理論家希翁（Michel Chion）[12]，以視覺(jué)作為主要?jiǎng)?chuàng)作動(dòng)機(jī)，并不強(qiáng)調(diào)音畫(huà)完全映射，而是通過(guò)音樂(lè)來(lái)強(qiáng)化視覺(jué)體驗(yàn)，探索新的視覺(jué)審美。抽象繪畫(huà)、音樂(lè)MV以及VJ影像騎師都可以歸于這一類。

音樂(lè)視覺(jué)化幾種類型之間并沒(méi)有明晰界限，而是“光譜式”的漸進(jìn)連續(xù)。然而，不論動(dòng)機(jī)和功能，不同類型都有共同關(guān)鍵內(nèi)容：視聽(tīng)完形為一種“映射”關(guān)系。音樂(lè)視覺(jué)化發(fā)展史，也是“視覺(jué)映射”方式逐步拓展的過(guò)程。“映射”（Map）在形式邏輯與信息可視化中是常用術(shù)語(yǔ)，是連接兩個(gè)集合元素之間的對(duì)應(yīng)規(guī)則?！耙曈X(jué)映射”是在“符指”基礎(chǔ)上更為豐富、動(dòng)態(tài)化、結(jié)構(gòu)化的變量對(duì)應(yīng)關(guān)系，視覺(jué)與音樂(lè)通過(guò)映射建立同步變化，從而實(shí)現(xiàn)完形通感，映射規(guī)則成為音樂(lè)視覺(jué)化的設(shè)計(jì)內(nèi)核。我們將具體著手分析4種音樂(lè)視覺(jué)化類型各自不同傾向的映射模式（Mapping Mode），分別在圖譜、光色、形狀、空間、風(fēng)格、情緒上與音樂(lè)建立映射邏輯，從而建構(gòu)起音樂(lè)視覺(jué)化設(shè)計(jì)的系統(tǒng)方法。

二、音樂(lè)譜：物理與樂(lè)理的圖譜

音樂(lè)是既美麗又謹(jǐn)嚴(yán)的藝術(shù)，我們可以從聲音的客觀物理特性與理性的音樂(lè)結(jié)構(gòu)出發(fā)，實(shí)現(xiàn)兩種視覺(jué)映射模式：音樂(lè)的物理映射與樂(lè)理的映射。這種映射有著完全的符指關(guān)系，常常與音樂(lè)譜一樣能夠進(jìn)行音樂(lè)編輯，也稱為音樂(lè)的物理圖譜與樂(lè)理圖譜。

2.1 聲音物理圖譜

17世紀(jì)物理學(xué)家就正確解釋波的傳播原理：波在一維空間傳播時(shí)表現(xiàn)為峰谷波形，在二維平面的傳播表現(xiàn)為圓環(huán)，三維時(shí)為球面[13]。音樂(lè)的物理圖譜就是基于波動(dòng)理論，對(duì)聲波形態(tài)的視覺(jué)模擬，或是聲波通過(guò)各種流體介質(zhì)形成視覺(jué)形態(tài)。

聲音的一維傳播可以看作在一根弦線上聲音的震動(dòng)傳遞，要保證波形不向前傳播停駐在原地持續(xù)發(fā)聲，就需要形成“駐波”（Standing Wave），就是兩列振幅、頻率和波速相同的正弦波迎面相遇疊加在一起。古典樂(lè)器都能發(fā)出穩(wěn)定的駐波，以固定長(zhǎng)度的發(fā)聲介質(zhì)進(jìn)行振動(dòng)，向前傳播的波在端點(diǎn)反射回來(lái)后，在一定條件下與原先向前的波相遇疊加，就形成上下起伏的穩(wěn)定悅耳的駐波圖像。1905年，德國(guó)物理學(xué)家海因里?！敱舅?Heinrich Rubens)發(fā)明了以空氣柱為介質(zhì)的一維系統(tǒng)的“駐波”可視化，稱為“魯本斯管”（Ruben’s Tube），又稱“駐波火焰管”[14]。最初的裝置由一根均勻分布著200個(gè)孔的4 m管子組成，末端密封，向管道中泵入易燃?xì)怏w；將揚(yáng)聲器連接到裝置另一端，聲波在管內(nèi)建立連續(xù)波動(dòng)的壓力差，氣體從孔中逸出點(diǎn)燃，高壓差的區(qū)域，火焰猛烈燃燒形成波峰，最小壓力點(diǎn)則成為火焰的波谷，“駐波”直觀映射形成火焰起伏的視覺(jué)效果。

二維情形下，聲波的物理映射有著更豐富的變化，可分為兩類:一類是在單點(diǎn)振動(dòng)，由于不同方向的聲波振動(dòng)分量，通過(guò)特定方法產(chǎn)生二維圖像，主要代表為李薩如圖形（Lissajous Figure）；另一類是在有限邊界的二維平面中聲音振動(dòng)產(chǎn)生的圖像,也被稱為音流學(xué)（Cymatics）[15]。

李薩如圖形是由相互垂直方向的兩個(gè)簡(jiǎn)諧振動(dòng)聲波，兩者成簡(jiǎn)單整數(shù)比關(guān)系合成為一種規(guī)則化的曲線圖形。19世紀(jì)，這一聲音圖形的數(shù)學(xué)原理被發(fā)現(xiàn)，同時(shí)進(jìn)行了可視化的物理實(shí)驗(yàn)， 將兩個(gè)附著鏡面的振動(dòng)音叉放置特定角度，光束經(jīng)過(guò)音叉鏡面，最終光斑在平面上投射出李薩如圖形。美國(guó)華裔視覺(jué)音樂(lè)家陸大衛(wèi)（David Lu）在頻率分量合成基礎(chǔ)上進(jìn)行拓展，設(shè)計(jì)了一款稱為Audioscope可視化程序，模擬聲音在二維空間中傳播的細(xì)節(jié)形態(tài)。他解釋了技術(shù)原理，李薩如圖形中純音繪制為圓形，其半徑是振幅，不同聲音可以看作在純音基礎(chǔ)依次添加分量頻率的聲波，也就是不同圓疊加，以最小圓在圓周循環(huán)的軌跡映射，形成各種聲音映射的環(huán)形圖像（見(jiàn)圖2）。聲音的響亮映射形狀的大小，聲音的純度映射圓環(huán)規(guī)則度。高頻的聲音就會(huì)起來(lái)很刺眼，因?yàn)橛懈嗟念l率分量，而協(xié)調(diào)和聲有連續(xù)圓滑的形狀，因?yàn)橐唤M和聲意味著音頻彼此的整數(shù)比[16]。Audioscope能夠?qū)?shù)字和器樂(lè)不同音色的物理波形在視覺(jué)上清晰地呈現(xiàn)出細(xì)節(jié)（見(jiàn)圖2）。

圖2 音色的物理波形

“音流學(xué)”的聲音圖譜，最早可以追溯到1680年，由物理學(xué)家羅伯特·胡克（Robert Hooke）發(fā)現(xiàn)，18世紀(jì)的物理學(xué)家音樂(lè)家克拉尼（Ernst Chladni）進(jìn)一步作了實(shí)驗(yàn)。他把細(xì)沙撒在薄板上，當(dāng)聲音傳遞到薄板振動(dòng)時(shí)，薄板上的細(xì)沙就會(huì)隨著聲波在不同方向上加強(qiáng)和抵消而顯示圖形，不同聲音高低頻率產(chǎn)生各種圖形變化，這個(gè)音流學(xué)實(shí)驗(yàn)下的圖形就被稱為“克拉尼圖形”。音流學(xué)的物理映射方法產(chǎn)生了很多視覺(jué)藝術(shù)實(shí)驗(yàn)。冰島藝術(shù)家比約克(Bj?rk)就曾在專輯Biophilia中設(shè)計(jì)了水介質(zhì)生成的克拉尼圖像。英國(guó)的音樂(lè)人和藝術(shù)家Reeps One，將節(jié)奏音樂(lè)Beatbox與音流學(xué)結(jié)合，創(chuàng)作了作品Beatbox Cymatics。新西蘭的奈杰爾·斯坦福（Nigel Stanford）在他的視頻作品Cymatics中探討了電聲器樂(lè)在液體、沙、火、磁、電等更多物理介質(zhì)映射生成的物像見(jiàn)圖3所示。

圖3 Nigel Stanford作品：Cymatics

音樂(lè)的物理映射模式最初都來(lái)自幾個(gè)世紀(jì)前科學(xué)家研究聲音的物理實(shí)驗(yàn)，目的是呈現(xiàn)聲波傳播的物理原型。如今，物理映射的聲音圖譜已經(jīng)脫離分析實(shí)驗(yàn)的功用，走向藝術(shù)審美的探索和創(chuàng)作中，通過(guò)數(shù)字技術(shù)以及與自由映射模式結(jié)合，音樂(lè)的物理映射將會(huì)有更多表達(dá)形式。

2.2 音樂(lè)的樂(lè)理圖譜

人類天生有著極為敏感而強(qiáng)大的視覺(jué)理解力，以至于我們不需要太多訓(xùn)練就能對(duì)圖形進(jìn)行分析，相比之下，不熟練的耳朵則無(wú)法輕易從多層次的音樂(lè)中辨識(shí)出復(fù)雜的音樂(lè)元素。有研究認(rèn)為，這是由于音樂(lè)的抽象與動(dòng)態(tài)時(shí)變?cè)诤艽蟪潭壬蠠o(wú)法與視覺(jué)同質(zhì)（Visual Equivalence）[17]。對(duì)于視覺(jué)作品，普通觀者往往能很容易識(shí)別事物特征和全局結(jié)構(gòu)，而沒(méi)有過(guò)多音樂(lè)經(jīng)驗(yàn)的聽(tīng)眾則難以明確一段音樂(lè)的主旨和整體架構(gòu)。音樂(lè)最常見(jiàn)的視覺(jué)識(shí)別方式是樂(lè)譜，然而，樂(lè)譜往往包含太多豐富細(xì)節(jié)，需要大量樂(lè)理知識(shí)才能理解和分析，也難以對(duì)音樂(lè)形成整體認(rèn)知。很多研究者開(kāi)始嘗試以樂(lè)理結(jié)構(gòu)來(lái)準(zhǔn)確對(duì)應(yīng)視覺(jué)構(gòu)成，建立一種同質(zhì)“結(jié)構(gòu)關(guān)系”的圖譜，讓人們以熟悉的視覺(jué)識(shí)別方式來(lái)掌握音樂(lè)的結(jié)構(gòu)和形狀。

一首音樂(lè)作品往往是由大量重復(fù)與變化的局部來(lái)組構(gòu)，長(zhǎng)期以來(lái)，音樂(lè)家會(huì)用一種“AABB”的方式描述音樂(lè)全局的重復(fù)結(jié)構(gòu)。A與B分別是不同的重復(fù)音樂(lè)“序列”，這種簡(jiǎn)化的符號(hào)雖容易理解，但卻忽略了太多細(xì)節(jié)?；⌒螆D法（Arc Diagrams）是一種呈現(xiàn)關(guān)聯(lián)結(jié)構(gòu)的圖形繪制方式，可視化藝術(shù)家馬丁·瓦登伯格（Martin M.Wattenberg）詳細(xì)介紹了這種可視化方法和音樂(lè)的應(yīng)用[18]?；咀龇ㄊ怯脠A弧關(guān)聯(lián)序列中重復(fù)的節(jié)點(diǎn)，弧形連接成對(duì)相等的音符串和重復(fù)樂(lè)段，實(shí)現(xiàn)旋律內(nèi)在重復(fù)結(jié)構(gòu)的圖譜。瓦登伯格還開(kāi)發(fā)了一個(gè)叫做“歌曲形狀”（Shape of Song）的數(shù)字作品[19]，可以通過(guò)弧形圖法“看到”歌曲的結(jié)構(gòu)形狀。巴赫《哥德堡變奏曲》（Goldberg Variations）的弧形圖（見(jiàn)圖4）表明了該樂(lè)曲分為兩個(gè)主要部分，每個(gè)部分由演奏兩次的長(zhǎng)樂(lè)段構(gòu)成，也就是音樂(lè)家稱之為“AABB”結(jié)構(gòu)，同時(shí)還能看到A段與B段之間松散連接的深層結(jié)構(gòu)。將歌曲的時(shí)間軸垂直向下，還能呈現(xiàn)垂珠鏈?zhǔn)降母枨靶螤睢薄?/p>

圖4 哥德堡變奏曲的弧形

和弦與和聲是不同音程的特定組合，也是音樂(lè)進(jìn)行的基礎(chǔ)結(jié)構(gòu)。雖然不同特質(zhì)和弦能喚起人們各種音樂(lè)體驗(yàn)和情緒，但大部分人都不能準(zhǔn)確識(shí)別和弦，就算在樂(lè)譜中分析和弦進(jìn)行也十分困難。利諾伊大學(xué)香檳分校的伯格斯特羅姆（Tony Bergstrom）等人開(kāi)發(fā)了一種對(duì)和弦結(jié)構(gòu)的視覺(jué)映射方法，叫做“等弦法”（Isochords）[20]（見(jiàn)圖5）。Isochords是將和弦結(jié)構(gòu)標(biāo)示在一種三角等距的坐標(biāo)網(wǎng)格中，這種網(wǎng)格是由歐拉發(fā)明的，稱為“Tonnetz”坐標(biāo)，坐標(biāo)各點(diǎn)的位置以音程“五度圈”建立映射，以某一點(diǎn)標(biāo)示根音，左右相鄰的點(diǎn)分別標(biāo)示純4度和純5度音程，斜上角的點(diǎn)為大6度和大3度，斜下角為小6度和小3度音程，按此規(guī)律向外推演（見(jiàn)圖5a）。大小三和弦等協(xié)調(diào)和弦構(gòu)成正三角與倒三角，而其他和弦都可以在Tonnetz坐標(biāo)上，由音程關(guān)系將各點(diǎn)連接，構(gòu)成各種點(diǎn)、線與三角的復(fù)合形。Isochords將音樂(lè)的和聲形象化，稍加訓(xùn)練的眼睛就可以通過(guò)距離和形狀的線索，直觀地識(shí)別樂(lè)曲的和弦結(jié)構(gòu)(見(jiàn)圖5b)。

圖5 等弦法原理及和弦結(jié)構(gòu)

人們對(duì)于音樂(lè)風(fēng)格的認(rèn)知依賴于經(jīng)驗(yàn)與直覺(jué)，而風(fēng)格的形成也來(lái)自音樂(lè)作品內(nèi)在豐富的旋律構(gòu)造。美國(guó)一家專注于音樂(lè)分析公司Skiptune LCC，利用“切諾夫面孔”（Chernoff Faces） 的可視化方法來(lái)呈現(xiàn)各種音樂(lè)風(fēng)格。這是由赫爾曼·切爾諾夫（Herman Chernoff）在1973年提出的一種大數(shù)據(jù)的可視化方法，他使用了18個(gè)面部特征變量對(duì)各類數(shù)據(jù)進(jìn)行映射， 最終創(chuàng)建出一張“面孔”[21]。Skiptune擴(kuò)展到將32種旋律特征映射形成音樂(lè)風(fēng)格的“面孔”[22]，音調(diào)模式、休止重復(fù)或音高平均動(dòng)態(tài)變化分別映射到眼球位置、臉部輪廓和相應(yīng)的鼻部、頭發(fā)形狀等方面（見(jiàn)圖6）。人們天生有著極強(qiáng)的面部辨識(shí)能力，而各種音樂(lè)的風(fēng)格差異也在不同“臉”的差別中顯現(xiàn)出來(lái)。

圖6 音樂(lè)風(fēng)格“切諾夫面孔”可視化方法

基于音樂(lè)形狀、和聲、調(diào)性與風(fēng)格構(gòu)造的圖譜，能夠在空間中塑造出音樂(lè)內(nèi)在的“相貌”，用于客觀的分析與理解，雖然主要目的不是形成視聽(tīng)轉(zhuǎn)化的通感審美，但所有音樂(lè)可視化都有某種功能與審美的模糊性，結(jié)構(gòu)映射也有著視覺(jué)形式的韻律，發(fā)展出獨(dú)特的審美感知。早期先鋒派音樂(lè)家科尼利厄斯·卡德（Cornelius Cardew）在1963年創(chuàng)作的樂(lè)譜Treatise就是重要一例。音樂(lè)家本人熱愛(ài)平面設(shè)計(jì)，通過(guò)各種幾何形式構(gòu)成與聲樂(lè)復(fù)雜結(jié)構(gòu)建立同構(gòu)，同時(shí)，遵循對(duì)視覺(jué)形式審美的理解還反用于音樂(lè)的二度創(chuàng)作。樂(lè)理圖譜也能成為其他映射模式的基礎(chǔ)，Isochords把音樂(lè)轉(zhuǎn)化成某種基礎(chǔ)點(diǎn)線構(gòu)件，構(gòu)件可以進(jìn)一步在色彩和空間上實(shí)現(xiàn)動(dòng)態(tài)變化，發(fā)展出來(lái)自和聲結(jié)構(gòu)的各種可能形態(tài)。

三、音樂(lè)可視化：形與色的映射

音樂(lè)藝術(shù)天生具有抽象與時(shí)間的特質(zhì)，“抽象”意味著自由定義其光色形態(tài)，“時(shí)間性”則決定主動(dòng)對(duì)視覺(jué)變量進(jìn)行控制。隨著數(shù)字技術(shù)發(fā)展，各種音樂(lè)信息的提取可以轉(zhuǎn)化為自由形式的動(dòng)態(tài)視覺(jué)。音樂(lè)信息的可視化發(fā)展精確的視聽(tīng)映射，又強(qiáng)調(diào)視聽(tīng)之間的“聯(lián)覺(jué)”想象，這提供更多的主觀創(chuàng)作，但仍需從人們心理感知出發(fā)探索映射規(guī)則的設(shè)計(jì)，更合理地形成通感效果。

3.1 形態(tài)的映射

當(dāng)音樂(lè)聲響流動(dòng)，視覺(jué)隨之發(fā)生豐富變幻，這通常遵循一種基本的建構(gòu)方法：（1）根據(jù)音樂(lè)的聲音譜或樂(lè)譜，提取音樂(lè)的要素特征，例如音程、節(jié)奏等；（2）在視覺(jué)識(shí)別層中選擇某一視覺(jué)形態(tài)自由定義所提取的音樂(lè)特征，例如音程定義為線條，節(jié)奏定義為圓形，構(gòu)造定義為圓形背景與線條前景；（3）根據(jù)提取的音樂(lè)特征，在視覺(jué)定義基礎(chǔ)上選擇視覺(jué)的動(dòng)態(tài)變量，完成基礎(chǔ)映射，例如節(jié)奏強(qiáng)弱映射為圓形大小，音程高低定義為線條長(zhǎng)短。這3個(gè)步驟建立起視覺(jué)映射的基礎(chǔ)邏輯，又釋放其設(shè)計(jì)的自由，音樂(lè)特征可以隨機(jī)與視覺(jué)變量建立關(guān)系，視覺(jué)變量控制之外的形態(tài)也可以在視覺(jué)審美上調(diào)整優(yōu)化。

數(shù)字藝術(shù)家羅伯特·克勞奇克（Robert J.Krawczyk）就以一首莫扎特創(chuàng)作的簡(jiǎn)單歌曲《小星星》（Twinkle Twinkle Little Star）為例（見(jiàn)圖7），詳細(xì)分析如何遵循這一邏輯，完成一個(gè)簡(jiǎn)單的音樂(lè)可視化作品[23]。這首歌曲以鋼琴卷形式顯示為12小節(jié)的3個(gè)聲部旋律（高音、低音部與和弦部）。他將音高和節(jié)奏定義為抽象矩形，4拍節(jié)奏定義為固定框架，旋律的音符時(shí)值在框架中映射寬度變量，音高則映射矩形高度變量。音樂(lè)12小節(jié)旋律映射為一個(gè)高低錯(cuò)落有序的矩形框架。遵循這個(gè)思路，克勞奇克啟發(fā)人們?nèi)ヌ剿鳌耙魳?lè)可以是什么樣子的？”可以將音高定義為橢圓、旋律定義為環(huán)圈框架等更復(fù)雜獨(dú)特的形態(tài)。

圖7 《小星星》從曲譜到視覺(jué)映射的邏輯

音樂(lè)可視化中對(duì)形狀與畫(huà)面構(gòu)成不斷嘗試的設(shè)計(jì)者首推史蒂芬·馬林諾夫斯基（Stephen Malinowski）。他進(jìn)行了長(zhǎng)達(dá)幾十年的音樂(lè)可視化實(shí)驗(yàn)，創(chuàng)作了300多部作品，視覺(jué)形態(tài)極其多樣，影響深遠(yuǎn)，但其設(shè)計(jì)方法幾乎一致，他將這一設(shè)計(jì)命名為“音樂(lè)動(dòng)畫(huà)機(jī)”（MAM/Music Animation Machine）。MNM的設(shè)計(jì)流程是典型的基礎(chǔ)映射邏輯，也始終遵循音樂(lè)與視覺(jué)完全同步。首先從Midi樂(lè)譜中提取旋律、響度、調(diào)性以及樂(lè)器聲部等各種音樂(lè)特征，然后探索這些特征的視覺(jué)定義與相應(yīng)變量。例如他的肖邦（Chopin）《夜曲（第27號(hào)）降D大調(diào)》（Nocturne,Opus 27 No.2,D-flat major）可視化（見(jiàn)圖8a），和聲進(jìn)行映射為由色線連接成多邊形的變化。在形態(tài)定義上，除了各種幾何形和軌跡線，還有羽毛燈絲、半圓新月、射線螺旋線、馬賽克等，然后利用渲染器（數(shù)字形態(tài)繪制的編程軟件）完成具體的視覺(jué)變量。2014年他對(duì)德彪西《第一號(hào)華麗曲》（First Arabesque）的可視化作品（見(jiàn)圖8b）中首次采用不同暈染花片和旋轉(zhuǎn)的“天堂鳥(niǎo)”形狀，分別映射低音聲部、高音旋律，以及分解和弦。MNM力求音樂(lè)特征實(shí)時(shí)精確再現(xiàn)，目的讓觀眾更直觀理解古典樂(lè)曲的動(dòng)態(tài)結(jié)構(gòu)和變化，但通過(guò)豐富視覺(jué)變化探索已經(jīng)形成某種通感審美。

圖8 不同樂(lè)曲的可視化

3.2 光色的映射

相對(duì)于音樂(lè)與形態(tài)更為自由的定義，光色則有著自身完整物理系統(tǒng)，聲音映射光色的邏輯更為嚴(yán)謹(jǐn)復(fù)雜，也是最早展開(kāi)研究的映射關(guān)系。耳朵對(duì)于頻率的靈敏度可以在10個(gè)8度音程內(nèi)，盡管眼睛可以精細(xì)地分辨顏色變化，但視覺(jué)光譜只有“8個(gè)色度”。色彩學(xué)家阿邁蒂塔奇（Paul Green-Armytage）認(rèn)為“用顏色進(jìn)行編碼，極限的色調(diào)數(shù)量是27個(gè)，如果再多就難以分辯”[24]。因而，如何將有限的顏色對(duì)更多的音程進(jìn)行定義與編碼成為關(guān)鍵內(nèi)容。歷史上有很多顏色與聲音的映射方案，現(xiàn)代心理學(xué)家普拉奇克（Robert Plutchik）擴(kuò)展了這一研究[25]。他提出以色輪方式將互補(bǔ)色對(duì)應(yīng)對(duì)立情緒，通過(guò)情緒的混合形成顏色的混合，可以系統(tǒng)性地定義音色、音高、節(jié)奏等音樂(lè)特征關(guān)系。

在普拉奇克研究基礎(chǔ)上，盧布里亞那大學(xué)的研究者克萊門(mén)茨（Bojan Klemenc）等人提出完整的旋律與和聲的色彩映射方案[26]。這一方案將音調(diào)感知的相似性轉(zhuǎn)化為色彩感知的相似性。根據(jù)“十二平均律”，8度音程有12音調(diào)形成一個(gè)循環(huán)，在光譜色輪上也分為12等比例。音調(diào)之間的純5度被認(rèn)為是完美的音程關(guān)系，因而從一個(gè)選定的音開(kāi)始，順時(shí)針相鄰的音調(diào)為純5度，正好將12音調(diào)平均分布在色輪上。純5度和純4度的和諧音程在色輪位置上彼此相鄰，顏色上也是近似色，而增4度的不和諧音程為對(duì)面互補(bǔ)色（見(jiàn)圖9a）。音調(diào)5度圈對(duì)應(yīng)色輪是一個(gè)經(jīng)典思路，還可以完成和弦的色彩映射。和弦是幾個(gè)音組合作為一個(gè)整體來(lái)感知，由此需要定義一組音調(diào)的共同顏色?；A(chǔ)和弦由3度音疊置而成，音調(diào)五度圈顯示的是1度、8度、純4度和純5度關(guān)系，因而需要做一些修正，在5度間加入3度音程形成3度圈，同樣對(duì)應(yīng)色輪。三和弦的共色由相鄰的3個(gè)色相混合成為疊置的3個(gè)色點(diǎn)（混合需要電腦對(duì)顏色RGB向量進(jìn)行計(jì)算），如C大和弦，Am小和弦、G大和弦都呈現(xiàn)飽和色調(diào)的3個(gè)色點(diǎn)。除大小三和弦以外都是不協(xié)調(diào)和弦，包括增、減及七和弦，可以形成緊張情緒。在色輪中不協(xié)調(diào)和弦對(duì)應(yīng)的色相往往是間色或補(bǔ)色，混合成低飽和色，如C和F#、C和C#音程的和弦混合為灰色的色點(diǎn)。

圖9 音樂(lè)旋律與和聲色彩映射

樂(lè)曲柴可夫斯基的《花之圓舞曲》（Waltz of the Flowers）的可視化中（見(jiàn)圖9b），可以看見(jiàn)D大調(diào)的和聲進(jìn)行映射為黃色主體的虛化形態(tài)，中間的和弦琶音映射為單獨(dú)清晰的色點(diǎn)。另一首戈德史密斯的《星際迷航主題曲》（Star Trek Theme）（見(jiàn)圖9c）采用大量調(diào)性，映射為一個(gè)主色調(diào)的穩(wěn)定區(qū)域和區(qū)域之間色調(diào)的突然變化，色調(diào)變化中的一些很短的灰色意味著是不協(xié)調(diào)和弦的使用，然后解決成穩(wěn)定的協(xié)調(diào)和聲進(jìn)行。這一色彩可視化方案能夠直觀地感受到豐富的和聲與旋律變化。

藝術(shù)家南?！ず諣柭∟ancy Clearwater Herman）一直對(duì)動(dòng)態(tài)色彩表現(xiàn)音樂(lè)充滿熱情。她說(shuō)“單純的色彩以時(shí)序方式與音調(diào)同步能夠共同振蕩人們的心靈”[27]，她提出一種“空間的色彩音樂(lè)”設(shè)計(jì)，將每個(gè)循環(huán)8度12音高對(duì)應(yīng)不同色相，8度音程高低對(duì)應(yīng)顏色明度亮暗，音符與和弦映射為間隔的彩色光柵，在同心方塊或圓形排列，以頻閃或旋轉(zhuǎn)顯隱的方式，形成音樂(lè)演奏與色彩空間轉(zhuǎn)換同步。她對(duì)格什溫（Gershwi）的歌曲《我們的愛(ài)在這里停留》（Our Love is Here to Stay）一段4小節(jié)音樂(lè)進(jìn)行可視化為例（見(jiàn)圖10），一共有9個(gè)和弦或單音，分別映射光柵或單色圓形，圓形逐漸由大到小疊加成9個(gè)光柵圓圈，圓半徑的長(zhǎng)度對(duì)應(yīng)和弦的時(shí)值，休止符則以擦除的方式出現(xiàn)，重疊與擦除的光色圓圈不僅準(zhǔn)確映射節(jié)奏、和弦和整體調(diào)性，更形成色彩空間不斷向內(nèi)凝聚的視覺(jué)效果。

圖10 《我們的愛(ài)在這里停留》第一段樂(lè)曲的空間顏色表達(dá)

四、視覺(jué)音樂(lè)：空間與鏡頭的設(shè)計(jì)

音樂(lè)可視化通常在平面維度展開(kāi)，以一種對(duì)于音樂(lè)流動(dòng)性的客觀視角，感知或分析音樂(lè)的結(jié)構(gòu)與趨態(tài)。然而，通過(guò)前后景深運(yùn)動(dòng)和鏡頭語(yǔ)言的組織，可以形成代入性的主觀視角，音樂(lè)的視覺(jué)聯(lián)想在主觀視角中運(yùn)動(dòng)變化，如同模擬人們?cè)凇坝^看”音樂(lè)，最早發(fā)源于“抽象電影”，逐漸形成“視覺(jué)音樂(lè)”。在數(shù)字環(huán)境下，視覺(jué)音樂(lè)形成更豐富時(shí)空變化的體驗(yàn)，其關(guān)鍵就在于空間層級(jí)、位置和鏡頭組織與控制的設(shè)計(jì)。

4.1 模擬音樂(lè)的空間結(jié)構(gòu)

“鏡頭運(yùn)動(dòng)”的視覺(jué)變量能夠充分?jǐn)U張我們“視野”的空間，在連續(xù)空間中流動(dòng)地“觀看”，也可以在各種空間中跳躍選擇地“觀看”。以鏡頭組織復(fù)雜時(shí)空的視覺(jué)映射，起源于上世紀(jì)初的“抽象電影”。抽象電影強(qiáng)調(diào)“非敘事性”（Non-narrative）的形式，形式的本質(zhì)在于結(jié)構(gòu)，脫離形象符號(hào)來(lái)組織其結(jié)構(gòu)，就與抽象的音樂(lè)建立了同源關(guān)系，音樂(lè)結(jié)構(gòu)映射為不同屏幕空間中的視覺(jué)組織。早期抽象電影創(chuàng)作者漢斯·里希特(Hans Richter)這樣描述：“我繼續(xù)利用矩形銀幕的各個(gè)部分，各個(gè)部分相互聚攏,或者相互分開(kāi)。這些矩形不是形式,它們是運(yùn)動(dòng)的部分……位置之間的關(guān)系變成了被感知的事物，而不是單一或者個(gè)別的形式。人不再看見(jiàn)形式或者物體，而是看見(jiàn)一種關(guān)系。以這種方式，你看見(jiàn)了一種韻律?！盵28]

著名抽象電影大師奧斯卡·費(fèi)欽格(Oskar Fischinger)不斷研究如何從音樂(lè)特征出發(fā)，在連續(xù)幀畫(huà)面中建立流暢的空間結(jié)構(gòu)。1938年《光之詩(shī)》（An Optical Poem）是他的代表作品，這是弗朗茲·李斯特（Franz Liszt）《匈牙利狂想曲2號(hào)》（Hungarian Rhapsody No.2）的視覺(jué)化創(chuàng)作，是“視覺(jué)藝術(shù)和音樂(lè)的綜合表達(dá)”[29]，對(duì)于之后所有從事視覺(jué)音樂(lè)的創(chuàng)作者都產(chǎn)生影響（見(jiàn)圖11）。費(fèi)欽格在這部作品中所運(yùn)用的空間映射方法，可以簡(jiǎn)要?dú)w納如下：

圖11 奧斯卡·費(fèi)欽格作品：《光之詩(shī)》

其一，音樂(lè)織體結(jié)構(gòu)的變化，映射為不同視覺(jué)空間的構(gòu)造。這個(gè)音樂(lè)分為交替兩部分，第一部分是莊重陰沉的拉桑（Lassan）曲調(diào)，第二部分是躍動(dòng)歡樂(lè)的弗里斯卡（Friska）曲調(diào)。拉桑曲調(diào)分別在開(kāi)頭和中段緩慢出現(xiàn)， 主音映射為固定中央的圓，和弦映射為高低并列小圓向內(nèi)推遠(yuǎn)；隨著一段音階模進(jìn)作為過(guò)門(mén)，視覺(jué)空間迅速運(yùn)動(dòng)變化，隨后音樂(lè)進(jìn)入弗里思卡曲調(diào)，映射圖形從圓形變?yōu)榉叫?，主音和聲交替逐漸進(jìn)入高4度的主旋律，畫(huà)面形成水平條塊的躍動(dòng)，交替顫音形成頻閃的方形背景；之后越來(lái)越強(qiáng)勁的高8度盡速音階，映射為飛速向前的水滴形狀，空間也開(kāi)始從左向右推動(dòng)，隨著音樂(lè)結(jié)構(gòu)豐富，空間也在不斷變化。

其二，可以在不同空間隨時(shí)建立新的視聽(tīng)映射邏輯，這在視覺(jué)上產(chǎn)生無(wú)限變化的可能，隨著音樂(lè)開(kāi)始，空間由近到遠(yuǎn)漸行漸小，建立起聲音與縱深空間的共鳴，主音小調(diào)和弦和低音音階映射的大小圓形都以同樣視角在空間中后推；進(jìn)入弗里斯卡曲調(diào)后，形態(tài)上出現(xiàn)方形或三角由小到大，形成空間的前推，表達(dá)得更為歡快。

其三，重復(fù)的音樂(lè)段落可以映射不同空間組織，而同一空間形態(tài)也可以表現(xiàn)不同音樂(lè)特征，以視覺(jué)審美進(jìn)行平衡取舍；當(dāng)音樂(lè)第二次進(jìn)入豐富變奏的弗里斯卡曲調(diào)，對(duì)應(yīng)大量3連高音跳躍，費(fèi)欽格設(shè)計(jì)了圖形旋轉(zhuǎn)的空間，其中有重復(fù)旋律映射幾種旋轉(zhuǎn)形式，也有多個(gè)旋律對(duì)應(yīng)一個(gè)視覺(jué)旋轉(zhuǎn)空間，靈活地處理避免面面俱到，形成更微妙的藝術(shù)表達(dá)；最后，之前各種圖形與空間交替充滿屏幕，達(dá)到音樂(lè)和聲的高潮，完成一種視覺(jué)結(jié)構(gòu)的呼應(yīng)。

4.2 數(shù)字空間的音樂(lè)動(dòng)畫(huà)

費(fèi)欽格使用的是逐幀定格技術(shù)，鏡頭運(yùn)動(dòng)是通過(guò)圖形運(yùn)動(dòng)來(lái)模擬的，空間變化以圖形轉(zhuǎn)場(chǎng)或固定場(chǎng)景組接為主，隨著電腦動(dòng)畫(huà)技術(shù)的發(fā)展， 各種鏡頭運(yùn)動(dòng)方式和速度更加流暢，可以形成更豐富的空間映射。1989年，數(shù)字藝術(shù)家大衛(wèi)·布羅迪（David Brody）通過(guò)電腦動(dòng)畫(huà)嘗試音樂(lè)與鏡頭運(yùn)動(dòng)的映射，完成他在加州藝術(shù)學(xué)院的碩士畢業(yè)作品。他曾與朱爾斯·恩格爾（Jules Engel）和威廉·莫里茨（William Moritz）一起工作，兩人都與費(fèi)欽格關(guān)系密切；前者是同代的抽象電影大師，后者是費(fèi)欽格最主要的研究者[30]，因而，布羅迪在創(chuàng)作上也與費(fèi)欽格有著直接的繼承關(guān)系；但布羅迪在技術(shù)上使用了IBM XT臺(tái)式電腦和一個(gè)叫Cubicomp的早期三維圖形程序來(lái)實(shí)現(xiàn)視覺(jué)圖形的運(yùn)動(dòng)，也是最早一批的數(shù)字視覺(jué)音樂(lè)作品。

這個(gè)作品稱為《貝多芬的機(jī)械》（Beethoven Machinery）（見(jiàn) 圖12），是以貝多芬作品《F大調(diào)第16號(hào)弦樂(lè)四重奏，135號(hào)，第2章》（String Quartet No.16 in F Major Op.135：II Vivace）進(jìn)行創(chuàng)作，音符樂(lè)句與空間鏡頭建立多重映射，整個(gè)作品充滿張力。正如他本人所說(shuō)：“我試圖映射出音樂(lè)中強(qiáng)烈的戲劇性的結(jié)構(gòu)基礎(chǔ)——它的旅程感、高潮感和回歸感?！盵30]音樂(lè)作品有著大量小快板節(jié)奏和切分音符的旋律，布羅迪將音符、樂(lè)句與對(duì)位和聲的節(jié)奏，在視覺(jué)形態(tài)上定義為立體8邊的幾何形及其組合；在視覺(jué)運(yùn)動(dòng)變量上，一方面定義幾何體的大小、顯隱和位移，另一方面與鏡頭的推拉、搖、移建立映射，兩個(gè)層級(jí)的運(yùn)動(dòng)形成視覺(jué)空間不斷擴(kuò)張。

圖12 大衛(wèi)·布羅迪的數(shù)字作品：《貝多芬的機(jī)械》

馬林諾夫斯基也做過(guò)此樂(lè)曲的MNM設(shè)計(jì)，可以明顯看出兩個(gè)作品在藝術(shù)拓展性上的差異。MNM的視覺(jué)變量能夠再現(xiàn)音樂(lè)信息和重奏結(jié)構(gòu)，而布羅迪的作品全面展現(xiàn)了動(dòng)人的視覺(jué)吸引力。物體與鏡頭運(yùn)動(dòng)的雙重組織能夠在音樂(lè)的空間映射上形成無(wú)限可能性，帶來(lái)視覺(jué)音樂(lè)真正的審美探索。

五、聲音視像：風(fēng)格、語(yǔ)意與情緒的溝通

對(duì)于音樂(lè)審美的感知特征，可以按3種思路進(jìn)行分類：一是音樂(lè)風(fēng)格類型；二是音樂(lè)主題語(yǔ)意；三是音樂(lè)的情緒體驗(yàn)。音樂(lè)審美特征的視覺(jué)化，雖然變化更為復(fù)雜，難以形成完全的方法論，但根據(jù)現(xiàn)有的研究材料，從音樂(lè)風(fēng)格、語(yǔ)意和情緒特征出發(fā)，仍可以分別歸納一些通約性的視覺(jué)設(shè)計(jì)方法。

5.1 風(fēng)格的關(guān)聯(lián)

音樂(lè)風(fēng)格的具體類型雖然龐雜，但本質(zhì)上是一種音樂(lè)內(nèi)在的形式秩序。音樂(lè)學(xué)家倫納德·邁爾（Leonard B．Meyer）對(duì)此總結(jié)到“音樂(lè)類型風(fēng)格是一組有限的相互依賴的旋律、節(jié)奏、和聲、音色、織體和形式上的關(guān)系和過(guò)程”[31]。同一時(shí)期、地域與民族的音樂(lè)都采用某種共同的形式，音樂(lè)風(fēng)格也是在社會(huì)歷史文化中形成共同的認(rèn)知與表達(dá)，因而，音樂(lè)也是一種文化關(guān)系的外部秩序。從同一社會(huì)文化概念出發(fā)，音樂(lè)與造型藝術(shù)之間完全具有某種風(fēng)格上的共通性。日本音樂(lè)學(xué)家山口修在《音樂(lè)風(fēng)格的時(shí)空間構(gòu)造》中指出，音樂(lè)能夠與造型藝術(shù)一樣從視覺(jué)印象進(jìn)行區(qū)分，證明了風(fēng)格學(xué)在音樂(lè)中適用，并闡述了造型藝術(shù)與音樂(lè)之間的關(guān)聯(lián)[32]。20世紀(jì)初，整體藝術(shù)（Gesamtkunstwerk）的概念出現(xiàn)，很多藝術(shù)家嘗試將音樂(lè)與各種視覺(jué)要素建立起一種完整表達(dá)。例如音樂(lè)家埃里克·薩蒂（éric Alfred Leslie Satie）與畫(huà)家畢加索在1917年共同創(chuàng)作芭蕾舞劇《游行》（Parade），薩蒂音樂(lè)偏離古典傳統(tǒng)的簡(jiǎn)潔本質(zhì)與當(dāng)時(shí)同樣先鋒的立體主義建構(gòu)某種整體性風(fēng)格。

因而，音樂(lè)風(fēng)格可以推導(dǎo)出一種視覺(jué)映射邏輯：首先，基于歷史文化關(guān)聯(lián)，對(duì)音樂(lè)風(fēng)格進(jìn)行視覺(jué)形態(tài)的定義。例如近代印象派音樂(lè)風(fēng)格以繪畫(huà)印象派的光色表達(dá)進(jìn)行定義，上世紀(jì)70年代的搖滾音樂(lè)風(fēng)格與迷幻和波普藝術(shù)的視覺(jué)形態(tài)相關(guān)聯(lián)。其次，在視覺(jué)的時(shí)序變量中實(shí)現(xiàn)對(duì)音樂(lè)風(fēng)格形式特征的映射。例如爵士音樂(lè)的切分節(jié)奏與應(yīng)答曲式對(duì)應(yīng)視覺(jué)的跳躍運(yùn)動(dòng)與交替呼應(yīng)，搖滾樂(lè)的重型節(jié)拍和重復(fù)動(dòng)機(jī)對(duì)應(yīng)視覺(jué)的大小變量和近似形式。從視覺(jué)形態(tài)到視覺(jué)變量可以建立對(duì)音樂(lè)風(fēng)格整體的視覺(jué)映射。

建筑設(shè)計(jì)師揚(yáng)·亨里克·漢森（Jan Henrik Hansen）特別關(guān)注音樂(lè)與空間的關(guān)系，他認(rèn)為音樂(lè)與空間各自的形式張力可以關(guān)聯(lián)在一起，特別是節(jié)奏的律動(dòng)感可以轉(zhuǎn)化為三維的空間構(gòu)成。西方上世紀(jì)60年代中期起源的“放克”（Funk）音樂(lè)在現(xiàn)音樂(lè)中最具有律動(dòng)風(fēng)格，因而，他提出“形式追隨放克”（Form Follows Funk）的設(shè)計(jì)思路[33]。他的代表作品是將上世紀(jì)70年代著名德國(guó)電子“放克”樂(lè)隊(duì)“發(fā)電機(jī)”（Kraftwerk）的音樂(lè)進(jìn)行視覺(jué)化。漢森在視覺(jué)形態(tài)上模仿上世紀(jì)60年代的歐普藝術(shù)，將節(jié)奏定義為發(fā)光的幾何塊格，連續(xù)的低音與“放克”節(jié)奏的組織構(gòu)成參差錯(cuò)落的近似空間?！胺趴恕币魳?lè)建構(gòu)為一種視覺(jué)奇觀。

以色列藝術(shù)家米哈爾·利維（Michal Levy）對(duì)爵士名曲《大步流星》（Giant Steps）的視覺(jué)（John Coltrane）創(chuàng)作，已成為爵士樂(lè)視覺(jué)化風(fēng)格的代表作品（見(jiàn)圖13）。爵士樂(lè)有著“搖擺”（Swing）的復(fù)雜節(jié)奏，常在某個(gè)“呼喚應(yīng)答”（Call and Reponse）的形式框架內(nèi)即興變奏。蒙德里安（Piet Cornelies Mondrian）有一幅晚期作品《百老匯的爵士樂(lè)》，管樂(lè)音色一樣的明亮黃色框架中有閃爍的小塊格，成為對(duì)爵士樂(lè)著名的視覺(jué)詮釋。利維的作品完全采用了“蒙德里安式”的視覺(jué)形態(tài)定義，薩克斯管的中低音主旋律映射為冷暖色線條框架，即興快速的高低音階映射為各種顏色的利落方塊。在運(yùn)動(dòng)映射上，利維認(rèn)為“沒(méi)有必要發(fā)明新的東西來(lái)可視化音樂(lè)，只需反復(fù)從音樂(lè)中找到它們”。她嘗試完全遵循柯川的音樂(lè)形式進(jìn)行形象化構(gòu)造?！洞蟛搅餍恰穭?chuàng)作了一種根音是大3度與增5度（B、G、Eb）和弦相互替代的循環(huán)結(jié)構(gòu)，在這種精巧的對(duì)稱模式中進(jìn)行的即興變化，充分體現(xiàn)爵士樂(lè)的曲風(fēng)。利維將這種對(duì)稱呼應(yīng)的音樂(lè)結(jié)構(gòu)，映射為生長(zhǎng)線框構(gòu)造的“建筑”空間，快速搖擺的爵士音階則在空間中“布局裝飾”，最后在首尾的主旋律呼應(yīng)中，空間逐漸消解。這一作品無(wú)論在文化特征或是視覺(jué)結(jié)構(gòu)上，都完美地實(shí)踐了爵士風(fēng)格的可視化。

圖13 米哈爾·利維《大步流星》可視化作品的風(fēng)格映射邏輯

5.2 視聽(tīng)的語(yǔ)意敘事

音樂(lè)表達(dá)的語(yǔ)意同樣可以建立豐富的視覺(jué)映射。音樂(lè)的語(yǔ)意分為兩種：一種是指音樂(lè)的音色或樂(lè)句所明確的語(yǔ)意。很多古典奏鳴曲中每個(gè)樂(lè)章都有各自語(yǔ)意主題，現(xiàn)代音樂(lè)中常見(jiàn)的聲音采樣也能形成語(yǔ)意；另一種是指非音樂(lè)因素的語(yǔ)意，內(nèi)容往往來(lái)自詩(shī)歌、故事、觀念與場(chǎng)景等，通常以標(biāo)題和歌詞的文本方式對(duì)音樂(lè)主旨進(jìn)行闡釋[34]。兩種語(yǔ)意的統(tǒng)一是音樂(lè)的傳統(tǒng)，維瓦爾第（Antonio Lucio Vivaldi）的巴洛克音樂(lè)作品《四季》（Le Quattro Stagioni），4首協(xié)奏曲樂(lè)章中反復(fù)的樂(lè)句主題對(duì)應(yīng)著4首14行詩(shī)所描繪的文字語(yǔ)意想象。巴洛克歌劇中，音樂(lè)旋律的處理更是對(duì)應(yīng)著詠唱的歌詞，亨德?tīng)枺℅eorge Friedrich Handel）偉大作品《彌撒亞》（Messiah）歌詞描繪的“高山”“升起”“低落”“彎曲”等景象，對(duì)應(yīng)著旋律的高低起伏內(nèi)容?，F(xiàn)代影像技術(shù)的出現(xiàn)，音樂(lè)、詩(shī)歌和視覺(jué)可以建立起更為綜合的映射關(guān)聯(lián)，以文字語(yǔ)意描繪作為中介，將音樂(lè)的旋律主題轉(zhuǎn)化為一種視覺(jué)敘事。音樂(lè)敘事的視覺(jué)方法可分為兩步：首先，通過(guò)語(yǔ)意文本定義角色形象與敘事動(dòng)作，其次，通過(guò)樂(lè)句旋律來(lái)實(shí)現(xiàn)角色動(dòng)作的視覺(jué)變量。

早期動(dòng)畫(huà)大師麥克拉倫（Norman McLaren）開(kāi)發(fā)了許多突破技術(shù)將音樂(lè)與動(dòng)畫(huà)敘事結(jié)合，1958年的作品《黑鳥(niǎo)》（La Merle）是一部音畫(huà)主題敘事的早期代表作品（見(jiàn)圖14）。這部作品的音樂(lè)是一首簡(jiǎn)單活潑的法語(yǔ)兒童歌曲，曲式的主題是男女聲問(wèn)答與和聲，分為8個(gè)重復(fù)樂(lè)段，后一段將前段的某一句進(jìn)行疊加。歌曲的故事主題是“我的黑鳥(niǎo)”在不斷尋找身體的一部分。麥克拉倫的視覺(jué)作品也分為8段敘事結(jié)構(gòu)，用鳥(niǎo)爪、眼睛和鳥(niǎo)喙的分解符號(hào)定義歌曲的主角“黑鳥(niǎo)”。第一段，從歌詞“我的黑鳥(niǎo)失去了它的喙”的應(yīng)答對(duì)唱開(kāi)始，鳥(niǎo)爪、眼睛和鳥(niǎo)喙符號(hào)對(duì)應(yīng)著音符時(shí)值走入畫(huà)面，旋律與休止停頓，對(duì)應(yīng)的是鳥(niǎo)喙逃跑而鳥(niǎo)爪和眼睛抓住它的情節(jié)。之后的數(shù)段都是按歌詞主題對(duì)位音樂(lè)，變化出各種有趣的情節(jié)，整個(gè)動(dòng)畫(huà)視覺(jué)元素雖然簡(jiǎn)單，但遵循曲式主題到文本語(yǔ)意，共同完成了極其工整精巧的線性視覺(jué)敘事。

圖14 歌曲《黑鳥(niǎo)》敘事文本與1958年麥克拉倫作品的敘事映射

5.3 視聽(tīng)情緒的體驗(yàn)

音樂(lè)情緒體驗(yàn)的視覺(jué)化最為復(fù)雜，根本上需解決兩個(gè)問(wèn)題。其一是音樂(lè)情緒特征的提取。其方法在于建立一種音樂(lè)情緒模型，然后根據(jù)主觀聆聽(tīng)、樂(lè)譜解析或采用計(jì)算機(jī)模擬程序，在音樂(lè)中提取關(guān)鍵情緒特征。其二是建立情緒特征與視覺(jué)的關(guān)聯(lián)映射。人類的情緒表達(dá)直接體現(xiàn)在生理的表情和動(dòng)作上，有研究者使用虛擬角色模擬人類的動(dòng)作表情來(lái)表達(dá)音樂(lè)的情緒。日本學(xué)者后藤真孝和村岡洋一創(chuàng)造了一個(gè)虛擬的跳舞小人“Cindy”，能夠根據(jù)實(shí)時(shí)的音樂(lè)情緒做出相應(yīng)的舞蹈動(dòng)作[35]。加拿大研究者迪帕拉（S.DiPaola）設(shè)計(jì)了一個(gè)叫“MusicFace”的程序[36]，音樂(lè)提取的情感數(shù)據(jù)映射為虛擬人物的面部情緒。然而，更多音樂(lè)情緒體驗(yàn)來(lái)自心理感知，內(nèi)在知覺(jué)心理基礎(chǔ)決定了如何感知與設(shè)計(jì)形式，通過(guò)知覺(jué)心理的研究，任何外在形式都可以與內(nèi)在情緒建立某種溝通與共鳴。

依據(jù)上述兩點(diǎn)，本文采用情緒模型與視知覺(jué)心理，為解決復(fù)雜的音樂(lè)情緒映射，提供一種直觀簡(jiǎn)潔的思路。本文采用羅伯特·塞耶（Robert E.Thayer）提出的音樂(lè)情緒模型[37]，該模型沒(méi)有太多情緒描繪的詞簇列表，是一個(gè)簡(jiǎn)潔周延的四象限模型。塞耶認(rèn)為情緒的構(gòu)成因子為兩點(diǎn):壓力(Stress)和能量(Energy)，由小到大的壓力形成快樂(lè)(Happy)到焦慮(Anxious)，由小到大的能量形成平靜(Calm)到積極(Energetic)。壓力和能量?jī)蓚€(gè)維度可將情緒分成4類：滿足(Contentment)，沉郁(Depression)，活力(Exuberance)，瘋狂(Frantic)。上海大學(xué)的耿凌艷曾經(jīng)探討過(guò)Thayer情緒模型與伊頓色彩理論的對(duì)應(yīng)關(guān)系[38]，為音樂(lè)可視化創(chuàng)建情緒與色彩的映射框架。本文也有相似的進(jìn)路，進(jìn)一步探討情緒的壓力和能量因素與視覺(jué)形式之間可能的關(guān)聯(lián)（見(jiàn)圖15），其理論的依據(jù)主要是來(lái)自阿恩海姆（Rudolf Arnheim）的視知覺(jué)理論和沃爾林夫的風(fēng)格學(xué)。

圖15 Thayer的情緒模型與視知覺(jué)之間可能的關(guān)聯(lián)

對(duì)情緒的壓力與能量都可以視為一種“力”，壓力是外在刺激的力，能量是內(nèi)在生長(zhǎng)的力，阿恩海姆專門(mén)對(duì)視知覺(jué)所產(chǎn)生的“力”進(jìn)行研究[39]。格式塔心理學(xué)家對(duì)知覺(jué)力的原理，有著相似的結(jié)論：每個(gè)心理活動(dòng)領(lǐng)域都趨向于一種最簡(jiǎn)單、最平衡和最規(guī)則的組織狀態(tài)[40]。這種心理趨向意味著張力減少，相反，非同質(zhì)的刺激物會(huì)招致緊張力的出現(xiàn)，形成更多視覺(jué)上的不平衡與偏離簡(jiǎn)單，同時(shí)增加張力。在視覺(jué)形式中，大量呈現(xiàn)知覺(jué)力的緊張與釋放，實(shí)際上，音樂(lè)的表現(xiàn)力也是如此，和弦進(jìn)行的基本方式也是從穩(wěn)定和弦再到不穩(wěn)定和弦，最后再到穩(wěn)定和弦的解決。

因此，壓力維度的關(guān)鍵在于失衡與平衡，我們可以從沃爾夫林“封閉與開(kāi)放”的一對(duì)形式概念與之對(duì)應(yīng)。沃爾夫林認(rèn)為，封閉形式具有嚴(yán)謹(jǐn)構(gòu)造與規(guī)則化的特點(diǎn)，追求永恒的效果，而開(kāi)放形式則相反，追求瞬間的展示[41]。封閉形式也是壓力較小的平衡趨向，在視覺(jué)映射上，形態(tài)定義與變量都強(qiáng)調(diào)穩(wěn)定準(zhǔn)確的對(duì)應(yīng)關(guān)系。開(kāi)放形式是壓力較大的失衡趨向，在視覺(jué)映射上，隨著空間鏡頭的變化建立更多視覺(jué)定義與隨機(jī)的視覺(jué)變量。

能量維度的關(guān)鍵在于事物本身的簡(jiǎn)化程度。阿恩海姆認(rèn)為有機(jī)體通過(guò)吸收能量而不斷變化和成長(zhǎng)，因而，越趨于簡(jiǎn)化的事物內(nèi)在的能量就偏低。我們可以從沃爾夫林另一個(gè)形式概念“清晰與模糊”與之對(duì)應(yīng)。模糊是某種在變化的、生成的東西，不斷形變交疊而具有更大的內(nèi)在能量，幾何形是清晰和簡(jiǎn)化的，具有動(dòng)力較小穩(wěn)定滿足的內(nèi)在經(jīng)驗(yàn)。

西方古典風(fēng)格音樂(lè)強(qiáng)調(diào)作品需要呈現(xiàn)情緒的波動(dòng)起伏，而之前的巴洛克音樂(lè)則更注重單一情感的連續(xù)恒定。我們發(fā)現(xiàn)很多對(duì)巴洛克晚期巴赫音樂(lè)的視覺(jué)化，都非常注重情緒恒定的表達(dá)。例如馬林諾夫斯基對(duì)于巴赫作品，采用嚴(yán)謹(jǐn)固定的映射和清晰簡(jiǎn)化的形態(tài)，來(lái)體現(xiàn)滿足與平衡的情緒，而他對(duì)印象派德彪西音樂(lè)就采用更為模糊變化的形態(tài)（見(jiàn)圖8b）。

隨著數(shù)字技術(shù)發(fā)展，人們嘗試開(kāi)發(fā)一種數(shù)字系統(tǒng)能夠完成對(duì)音樂(lè)作品的實(shí)時(shí)可視化表演。大致有著兩種思路：一是自動(dòng)交互的實(shí)時(shí)系統(tǒng)，多使用Max/MSP開(kāi)發(fā)程序建立映射，從現(xiàn)場(chǎng)表演中實(shí)時(shí)提取音樂(lè)特征數(shù)據(jù)響應(yīng)交互圖像；二是用于專業(yè)操控者VJ的軟件系統(tǒng)，VJ采用MIDI音樂(lè)，通過(guò)預(yù)設(shè)的映射控件進(jìn)行自由視覺(jué)編輯和實(shí)時(shí)創(chuàng)作。兩者不僅有差異的設(shè)計(jì)思路，適合不同風(fēng)格的音樂(lè)，也映射明顯不同的情緒變化。

第一類可視化系統(tǒng)帶來(lái)的情緒壓力較小，采用一種“封閉形式”，有著穩(wěn)定準(zhǔn)確的映射關(guān)系，比較適合交響樂(lè)團(tuán)或古典器樂(lè)嚴(yán)謹(jǐn)?shù)慕Y(jié)構(gòu)，形成細(xì)膩情緒發(fā)展與解決。卡內(nèi)基梅隆大學(xué)的馬爾科·維埃拉（Marco Filipe Gananca Vieira）嘗試開(kāi)發(fā)這類系統(tǒng)，并用于當(dāng)?shù)匾魳?lè)會(huì)中為交響樂(lè)團(tuán)作實(shí)時(shí)可視化表演，觀眾反饋說(shuō)通過(guò)視覺(jué)體察了原先并未留意的音樂(lè)中很多細(xì)膩情感[42]。數(shù)字藝術(shù)家馬修·貝恩（Matthew Bain）也擅長(zhǎng)設(shè)計(jì)這類可視化系統(tǒng)（見(jiàn)圖16）[43]。他通過(guò)對(duì)音樂(lè)作品情緒的了解，進(jìn)行視覺(jué)映射的總體架構(gòu)，封閉的形式很好地平衡了音樂(lè)的細(xì)節(jié)體驗(yàn)，音樂(lè)情緒能量的推進(jìn)來(lái)自各種粒子特效產(chǎn)生的模糊變化。他的第一個(gè)可視化系統(tǒng)作品Arctic Fracture是對(duì)音樂(lè)劇歌曲《愛(ài)是我唯一所求》（All I Ask of You）鋼琴表演的實(shí)時(shí)可視化，以鋼琴高音和低音旋律流動(dòng)精準(zhǔn)映射各種冰柱和飛濺水瀑，形成完滿平衡與自足的情緒體驗(yàn)，而音樂(lè)情緒逐漸豐富來(lái)自重影生長(zhǎng)的冰凍視效。

圖16 2008年馬修·貝恩在德州奧斯汀實(shí)時(shí)可視化表演Arctic Fracture

第二類是VJ操控的可視化系統(tǒng)，采用完全“開(kāi)放形式”。例如當(dāng)前流行VJ軟件Resolume，有著強(qiáng)大的實(shí)時(shí)音畫(huà)交互功能，通過(guò)硬件控臺(tái)操作可以像玩樂(lè)器一樣自由控制視覺(jué)映射快速剪輯、調(diào)用圖層和構(gòu)圖，隨時(shí)控制音樂(lè)節(jié)拍速度匹配混合視覺(jué)效果（見(jiàn)圖17）。這種視覺(jué)映射帶來(lái)極不穩(wěn)定的心理刺激，適用強(qiáng)烈壓迫感的電子樂(lè)和搖滾樂(lè)，通過(guò)視覺(jué)的清晰簡(jiǎn)化到復(fù)雜模糊，制造從壓抑到瘋狂的情緒能量。這種映射方式對(duì)于音樂(lè)調(diào)性結(jié)構(gòu)或旋律難以精準(zhǔn)，不適應(yīng)古典音樂(lè)、現(xiàn)代輕音樂(lè)等舒緩自足的音樂(lè)情緒，但傾向形成一種聲音視像，以視覺(jué)來(lái)主導(dǎo)音樂(lè)情緒，營(yíng)造巨大張力的舞臺(tái)音樂(lè)效果。

圖17 VJ軟件Resolume與現(xiàn)場(chǎng)演奏控制器APC40MKII配合表演

視知覺(jué)力的原理將決定如何選擇視覺(jué)形態(tài)與變量，對(duì)應(yīng)不同音樂(lè)情緒類型的變化。當(dāng)然，這只是音樂(lè)情緒映射一種簡(jiǎn)單的思路框架，音樂(lè)情感變化入微，與視覺(jué)動(dòng)態(tài)關(guān)聯(lián)后，還有意想不到的聯(lián)覺(jué)體驗(yàn)，在映射關(guān)系上有著更多實(shí)驗(yàn)探索的空間。

六、結(jié) 語(yǔ)

本文力圖建構(gòu)一個(gè)音樂(lè)視覺(jué)化的完整設(shè)計(jì)方法系統(tǒng)，呈現(xiàn)不同設(shè)計(jì)思路之間的內(nèi)在關(guān)聯(lián)與邏輯。從聽(tīng)覺(jué)藝術(shù)的要素特征出發(fā)，可以與各種視覺(jué)特征建立映射關(guān)系如圖18所示，圖中每個(gè)節(jié)點(diǎn)的連接，都意味著相關(guān)的映射選擇和方法路徑?！耙魳?lè)視覺(jué)化”包含4種類型，其方法路徑則是由樂(lè)譜、圖譜、形色映射、空間映射、風(fēng)格、語(yǔ)意與情緒映射7種模式構(gòu)成，前4種模式需要通過(guò)視覺(jué)定義和視覺(jué)變量來(lái)建立，可以作為后3種的基礎(chǔ)方法，層級(jí)越高的模式包含更多模式的綜合疊加，也意味著更豐富的變化。鏡頭運(yùn)動(dòng)拓展了空間動(dòng)態(tài)的范圍，視聽(tīng)的風(fēng)格、語(yǔ)意與情緒在更多元的藝術(shù)想象之間促發(fā)關(guān)聯(lián)，但最終落實(shí)到具體的視覺(jué)定義與變量，這也是當(dāng)前一些音樂(lè)實(shí)時(shí)視覺(jué)化數(shù)字系統(tǒng)的模塊設(shè)計(jì)方式。本文將音畫(huà)映射的概念、原理和方法建立嵌合的內(nèi)在結(jié)構(gòu)，能夠?yàn)橐暵?tīng)聯(lián)覺(jué)創(chuàng)作提供更多技術(shù)與創(chuàng)意思路。

圖18 音樂(lè)視覺(jué)化映射模式與系統(tǒng)設(shè)計(jì)方法