曹奔（湖南理工學(xué)院）

一、音樂可視化的概念與發(fā)展

（一）音樂可視化的概念

“信息可視化”一詞最先由Robertson等人在1989 年提出，從人類生理感官角度來講，視覺是人類獲得外界信息最直接有效方式，不同于聽覺嗅覺等接受外界信息的方式，視覺可以在短時間內(nèi)獲得更多的信息。因此，在我們面對一些復(fù)雜抽象的信息、數(shù)據(jù)或是人眼觀測不到的事物時，為了更加準(zhǔn)確理解這類事物，就會利用信息技術(shù)或是材料技術(shù)等手段，在圖像處理技術(shù)和圖像學(xué)的理論技術(shù)支持下將復(fù)雜的信息條理化、抽象的信息具象化，轉(zhuǎn)化為人眼可以觀測到的狀態(tài)，最后通過視覺方式進行信息傳達。這個轉(zhuǎn)化的過程即是可視化的過程，如可視化編程、熱成像儀原理等。“音樂是有聲的繪畫，繪畫是無聲的音樂?！币魳房梢暬褪菍⒙曇舻念l譜信息、樂理美學(xué)、節(jié)奏韻律等作為載體，依托于新媒體時代下日趨成熟的圖像處理技術(shù)與圖像學(xué)的手段和理論依據(jù)，將音樂作品所表達表層或深層的情感架構(gòu)與藝術(shù)內(nèi)涵，通過動態(tài)或靜態(tài)的圖像或者符號傳達給觀眾，從而使觀眾在更容易理解音樂作品的同時獲得更加豐富新穎的視聽感受。音樂可視化是一門多學(xué)科交叉、多領(lǐng)域結(jié)合、高度自由高度包容的學(xué)科，它不僅包含了樂理學(xué)、心理學(xué)、符號學(xué)等傳統(tǒng)理論研究，其多元的視覺轉(zhuǎn)譯表現(xiàn)形式還要求其結(jié)合新媒體技術(shù)、虛擬現(xiàn)實技術(shù)、人工智能技術(shù)等多領(lǐng)域，多維度地去賦予音樂作品新的表現(xiàn)形式與時代特征。

（二）音樂可視化的發(fā)展歷程

1787 年，德國聲學(xué)之父恩斯特·克拉德尼在認(rèn)識到聲音的發(fā)生會伴隨一定震動的基礎(chǔ)上，在金屬板上均勻灑下一層細(xì)沙，然后用提琴弦弓在金屬板的不同位置用不同方式拉動弦弓使其發(fā)聲。這樣，在金屬板發(fā)聲以后，金屬板隨之震動，同時就會帶動表層細(xì)沙產(chǎn)生位移，在金屬板上留下一幅幅規(guī)律又抽象的圖案，創(chuàng)作出了后來的克拉德尼圖形。這是人類歷史上首次將聲音和圖像放在一起進行并置研究。1885 年，威爾士作曲家瑪格麗特·瓦茨·休斯在工作時用一種彈性薄膜材料繃在話筒上制作出了一名為“eidophone”的裝置，她將不同密度的液體、松石粉、顏料等鋪在話筒薄膜上，當(dāng)話筒傳出聲音后薄膜上就會出現(xiàn)美麗的“聲音圖形”，她將這些圖案整理并記錄在了名為“The eidophone”的小冊子上，也正是因為這本小冊子，瑪格麗特·瓦茨·休斯為以后“音流學(xué)”的出現(xiàn)做出了不可忽略的貢獻。1911年，俄羅斯抽象藝術(shù)家瓦西里·康定斯基在其著作《論藝術(shù)里的精神》 中提出“圖像——聲音——情感”理論，他在書中描寫道：“用小號或銅管樂演奏黃色、用巴松管演奏深紫色、中提琴和溫暖的地中音是橙色的……”在康定斯基眼中，不同樂器演奏的音樂代表不同的顏色，音樂中的音色、音調(diào)和韻律關(guān)系對應(yīng)這繪畫中的點線面的組合，用繪畫來闡釋音樂，用音樂賦予繪畫更深層次的藝術(shù)表達。1967 年，瑞士科學(xué)家漢斯·詹尼在克拉德尼聲音研究的理論基礎(chǔ)上，發(fā)表著作《Cymatics:關(guān)于聲波現(xiàn)象的研究》，書中他對聲音與物體震動的物理關(guān)系展開了詳細(xì)的論證，他在大量的對板、膜片等物體發(fā)聲后產(chǎn)生的震動現(xiàn)象的觀察中設(shè)計并展開物理實驗，總結(jié)出聲音發(fā)生時產(chǎn)生的震動頻率具有周期性的特征。由此，漢斯·詹尼得到了“穩(wěn)定狀態(tài)下的形式是震動的結(jié)果”這一結(jié)論并開創(chuàng)性地提出“音流學(xué)”這一新的學(xué)術(shù)領(lǐng)域。新媒體數(shù)字時代下，信息傳達的載體發(fā)生了巨大變遷，聲音可視化也因此得到了更具體更深入廣闊的研究與發(fā)展，其在工業(yè)、藝術(shù)等領(lǐng)域的實際應(yīng)用也取得了顯著的成果。隨著新技術(shù)新材料的出現(xiàn)，音樂可視化的應(yīng)用場景也會進一步得到拓寬。

圖1 康定斯基構(gòu)成8號（左）構(gòu)成7號（右）系列油畫作品（圖片來源：《論藝術(shù)的精神》）

二、音樂可視化在互動藝術(shù)領(lǐng)域應(yīng)用方式

（一）視覺平面中的交互應(yīng)用

自克拉德尼圖形出現(xiàn)，人類第一次觀察到“聲音的形狀”以來，人類對于聲音信息視覺化的探索應(yīng)用研究就始終未曾停止，由于受到技術(shù)條件與傳播手段的限制，初期的音樂可視化作品大都會以靜態(tài)平面的形式呈現(xiàn)出來。其中，最具代表性的便是抽象藝術(shù)家康定斯基的一系列繪畫作品。康定斯基認(rèn)為：“在形式的運用上，音樂可以達到繪畫無法企及的效果。不過，在許多細(xì)節(jié)上，繪畫又優(yōu)于音樂。例如，音樂的長處在于可以自行支配時間，而繪畫的長處則是在于它能夠瞬間向觀眾表達畫面上所有的信息內(nèi)容。”在他的畫作《構(gòu)成》系列作品中，他將不同樂器演奏的聲音聯(lián)系到繪畫中不同顏色的表達，將音樂中的響度、音色、音調(diào)等信息組合對應(yīng)到繪畫中點、線、面的運用處理，基于音樂中不受規(guī)則所限制的構(gòu)圖方法，創(chuàng)作出一幅幅震撼人心的繪畫作品。在它的畫作中，仿佛能看見音樂的節(jié)奏裹挾著浪漫顏色在畫布上肆意流動，同時將音樂與繪畫的長處都淋漓盡致地展現(xiàn)出來，并且達到了和諧的程度（如圖1）。

隨著技術(shù)條件的改善，動態(tài)圖像和電影業(yè)等新媒介形式的出現(xiàn)，藝術(shù)家們對聲音可視化在平面視覺領(lǐng)域的應(yīng)用得到了又一重要拓展。1940 年，由美國迪士尼公司出品薩廖·阿姆斯特朗執(zhí)導(dǎo)的音樂可視化動畫電影《幻想曲》橫空出世，電影共分為八段，對應(yīng)電影出現(xiàn)的八個音樂作品，畫面中的動畫人物隨著音樂的節(jié)奏起伏做出相應(yīng)的動作，故事情節(jié)也隨著音樂的流動逐漸推向高潮繼而結(jié)束。為增加觀眾的體驗感，作者還通過調(diào)整錄音的左右聲道的音量大小和效果來營造立體效果，并且創(chuàng)造性地將音樂元素視覺化的動態(tài)表達應(yīng)用在電影動畫領(lǐng)域，同時為音樂可視化的應(yīng)用發(fā)展提供了成功的現(xiàn)實案例基礎(chǔ)。

（二）沉浸式體驗設(shè)計中的交互應(yīng)用

當(dāng)藝術(shù)不再拘泥于以往的形式，當(dāng)創(chuàng)作不再受限于空間的尺度，當(dāng)表達不再是蒼白的文字語言。沉浸式體驗設(shè)計利用前沿的科技手段、巧妙的空間安排以及復(fù)雜的心理學(xué)分析，為觀眾帶來一種前所未有近乎“真實”的虛擬環(huán)境空間，在整個沉浸式體驗作品中，藝術(shù)家們?yōu)榱嗽黾佑^眾的沉浸感，就必須最大程度上真實復(fù)刻人在現(xiàn)實環(huán)境中的體驗和感受，因此，聲音與圖像的相互聯(lián)動，聽覺與視覺的相互轉(zhuǎn)化成為沉浸式體驗設(shè)計最不可或缺的一項重要內(nèi)容。

圖2 《花舞森林與未來游樂園》展覽實拍圖片（圖片來源：搜狐網(wǎng)）

在日本新媒體藝術(shù)團隊TeamLab 的沉浸式體驗交互作品《花舞森林與未來游樂園》整個150 平方米的空間中（如圖3），觀眾可以高度參與到作品的展示中去，并與作品的畫面產(chǎn)生實時互動，從藝術(shù)的欣賞者轉(zhuǎn)變?yōu)樗囆g(shù)的創(chuàng)作者。此外團隊還通過增加嗅覺、視覺、聽覺等多方面感官刺激來增強作品與觀眾的外界關(guān)聯(lián)性。在《宇宙水晶》主題區(qū)域中，有無數(shù)個電腦控制的彩色LED 燈會隨著音樂的節(jié)奏呈現(xiàn)不同的畫面，當(dāng)觀眾走動時還會變換不同的顏色。置身于這件作品中時，觀眾會最大程度上身臨其境般地感受到宇宙水晶的景象和全新的感官體驗。音樂可視化在沉浸式體驗設(shè)計中的應(yīng)用，很大程度上拓寬了藝術(shù)的創(chuàng)作空間和表現(xiàn)形式。

（三）裝置藝術(shù)中的交互應(yīng)用

裝置藝術(shù)是一門材料表現(xiàn)手法豐富、形式方法多樣的藝術(shù)門類，開放性是裝置藝術(shù)最為顯著的特征。但裝置藝術(shù)會受限于特定的空間環(huán)境，隨著新媒體技術(shù)的逐漸成熟，科技手段日趨進步，空間環(huán)境對于裝置藝術(shù)的限制將會越來越小。當(dāng)音樂可視化輔以交互的手段應(yīng)用到裝置藝術(shù)中，其最終的呈現(xiàn)效果對環(huán)境空間的依賴便會大大降低。

國內(nèi)藝術(shù)創(chuàng)作團隊ODI 的藝術(shù)創(chuàng)始人宋冬在2019 法國藝術(shù)展中，憑借團隊裝置藝術(shù)作品《黃河》（如圖3）獲得了當(dāng)年的法國藝術(shù)展的視覺裝置藝術(shù)金獎?！饵S河》鋼琴協(xié)奏曲在曲調(diào)上激昂有力，結(jié)構(gòu)上層次分明，意境上雄渾壯闊，是近代中國最有影響力的音樂作品之一，宋冬以《黃河》協(xié)奏曲為創(chuàng)作原型，借助于計算機編程語言和新型媒介手段的靈活應(yīng)用，將《黃河》協(xié)奏曲的樂理信息數(shù)據(jù)化，并用中國傳說中四大守護圣獸作為主要視覺形象，利用紗幕投影、立體音響等設(shè)備對《黃河》協(xié)奏曲進行一種前所未有的視覺化演繹。在《黃河》裝置藝術(shù)作品中，音樂的內(nèi)在情緒通過視聽結(jié)合的方式傳達給觀眾，音樂的深遠(yuǎn)意境借由具體的圖像符號去引導(dǎo)觀眾感受領(lǐng)會，讓觀眾在欣賞音樂作品波瀾壯闊的同時又能無限延伸自己的審美想象。

此外，《黃河》裝置藝術(shù)作品中還加入了大量的人機交互的手段，通過觀眾不同肢體動作呈現(xiàn)出不同的畫面，由觀眾的意愿來控制作品畫面的呈現(xiàn)形式，將人與作品之間的互動性轉(zhuǎn)變?yōu)檎髌返娜の缎?，為《黃河》協(xié)奏曲的傳播和發(fā)揚開辟了新的道路。

三、音樂可視化在互動藝術(shù)領(lǐng)域應(yīng)用價值和優(yōu)勢

（1）拓展音樂創(chuàng)作領(lǐng)域。音樂可視化是將音樂作品的呈現(xiàn)方式進行拓展和視覺化轉(zhuǎn)譯，讓原本的單一的聽覺呈現(xiàn)形式轉(zhuǎn)變?yōu)槎嗑S立體的視聽結(jié)合形式。藝術(shù)家們在進行聲音可視化的藝術(shù)創(chuàng)作時會提取音樂作品的樂理信息和情感信息，并通過計算機算法的生成或是藝術(shù)家手動繪制創(chuàng)造出可以與音樂作品產(chǎn)生實時互動效果的視覺圖形。由于藝術(shù)家們是根據(jù)音樂作品進行創(chuàng)作的，那么，將音樂作品進行視覺化轉(zhuǎn)譯互動的過程就伴隨著新的藝術(shù)作品的誕生，整個可視化轉(zhuǎn)譯的過程就是新的藝術(shù)作品再創(chuàng)作的過程，新的藝術(shù)作品承載著藝術(shù)家對于音樂作品的理解感悟和這個時代的技術(shù)應(yīng)用，同時兼具個人色彩和時代特征。

（2）高效的傳播效率。得益于新媒體時代的到來，互動藝術(shù)在新興的數(shù)字藝術(shù)和傳統(tǒng)的裝置藝術(shù)等共同促進下得到了空前迅速的發(fā)展?；铀囆g(shù)涵蓋范圍廣泛，理論體系多元，作為互動藝術(shù)中最為重要的研究對象之一，聲音可視化在融入交互裝置進行信息傳播時有著巨大傳播優(yōu)勢。一方面，互動藝術(shù)的本質(zhì)是藝術(shù)家和欣賞藝術(shù)作品的觀眾一起，直接或間接地參與到藝術(shù)作品的創(chuàng)作和欣賞批評中去，人與藝術(shù)作品產(chǎn)生緊密聯(lián)動，作品欣賞者的某些行為會直接影響到藝術(shù)作品的最終呈現(xiàn)效果，整個過程強調(diào)觀眾的參與性。而聲音可視化正是利用視覺信息與聽覺信息的相互轉(zhuǎn)化，將音樂作品的聲音信息視覺化表達，當(dāng)其應(yīng)用在交互藝術(shù)領(lǐng)域中時，聽覺與視覺的雙重聯(lián)動就會給觀眾全新的視聽感受。另一方面，當(dāng)不同的觀眾參與到相同的聲音可視化互動作品中時，可能會產(chǎn)生不同的情感體驗，這些情感會映射到音樂可視化互動作品的視覺表達形式上，產(chǎn)生不同的畫面，每一位參與者都可以創(chuàng)作出具有個人特色的互動作品，這極大地增加了互動藝術(shù)的趣味性和互動性。同時從信息傳播的角度來講，由于互動藝術(shù)本身就要求觀眾與互動藝術(shù)作品保持高度參與性的特點，在信息傳播時，應(yīng)用聲音可視化的互動藝術(shù)作品會有更加直接高效的信息傳播效率。

（3）沉浸式的視聽雙通道感官刺激。新技術(shù)、新材料的應(yīng)用延伸豐富了音樂可視化作品的表現(xiàn)形式。增強音樂與圖像之間的關(guān)聯(lián)性是音樂可視化作品創(chuàng)作的核心問題。虛擬現(xiàn)實技術(shù)的出現(xiàn)為音樂可視化作品的呈現(xiàn)方式提供了另一種可能。虛擬現(xiàn)實技術(shù)旨在通過在虛擬的環(huán)境中營造出一種真實的立體影像世界，讓觀眾最大程度上體驗身臨其境的真實感。為達到這一目的，設(shè)計師們經(jīng)常會通過畫面、聲音、動作等多種方式，全方位多角度地增加用戶的沉浸感和參與感。音樂可視化作品的理念融入虛擬現(xiàn)實技術(shù)，以互動藝術(shù)作品方式呈現(xiàn)出來時，強烈真實的沉浸感體驗會讓音樂作品和互動藝術(shù)作品的情感和藝術(shù)內(nèi)核更加準(zhǔn)確地傳達出去。

圖3 《黃河》裝置藝術(shù)作品畫面截圖（圖片來源于中國財富網(wǎng)文章《科技與人文的互動——音樂可視化數(shù)字藝術(shù)作品ODI《黃河》）

四、音樂可視化在互動藝術(shù)領(lǐng)域的發(fā)展趨勢

（1）幫助視聽障礙人群進行情感化設(shè)計。新興的無障礙設(shè)計理念，旨在為特殊人群更好地融入社會、改善生活質(zhì)量。聲音可視化的理念在未來的發(fā)展中可以用來為有視聽障礙的人群提供服務(wù)。聽覺障礙人群可以通過聲音可視化作品直接“看到”音樂，從而感受音樂，視覺障礙人群可以通過特定的聲音可視化裝置“觸摸”到音樂，以此來欣賞音樂。未來音樂可視化在無障礙領(lǐng)域的應(yīng)用，會讓更多人領(lǐng)略到音樂的美好和藝術(shù)的魅力。

（2）幫助大眾提升審美能力。美美與共，對美好事物的欣賞與追求，審美能力的培養(yǎng)和思想價值的培養(yǎng)一樣重要。新媒體時代背景下，人們更加注重個人審美能力的培養(yǎng)。音樂可視化在對人們審美能力的培養(yǎng)上可以發(fā)揮重要的作用。通過視覺、聽覺聯(lián)動方式來重新演繹音樂作品，當(dāng)音樂作品的旋律悠揚平緩時，音樂可視化作品的視覺部分也會給觀眾呈現(xiàn)寧靜祥和的畫面，當(dāng)音樂進入高潮部分時，作品的畫面也會呈現(xiàn)相應(yīng)的壯闊恢宏的場景，從而引導(dǎo)觀眾的審美想象。相比于傳統(tǒng)的音樂和繪畫作品，音樂可視化作品更能給觀眾帶來深刻印象和靈魂共鳴，讓觀眾在欣賞音樂的同時獲得視覺上美的享受和審美能力的提升。

五、結(jié)語

新媒體時代下音樂可視化在互動藝術(shù)領(lǐng)域有著靈活性高、適應(yīng)性廣、互動性強等特征。隨著新技術(shù)的不斷出現(xiàn)和完善，音樂可視化的應(yīng)用領(lǐng)域會得到不斷擴展，同樣的，它在互動藝術(shù)領(lǐng)域的應(yīng)用表現(xiàn)形式也會愈加豐富。音樂可視化在互動藝術(shù)領(lǐng)域的應(yīng)用需要有創(chuàng)新精神，勇于嘗試新的方法和涉足新的領(lǐng)域，在國家強調(diào)學(xué)科交叉研究的當(dāng)代，音樂可視化與其他學(xué)科融合并應(yīng)用到互動藝術(shù)中的意義和價值也會進一步提升。同時也要注意，音樂可視化在互動藝術(shù)領(lǐng)域的應(yīng)用應(yīng)該極力避免同質(zhì)化現(xiàn)象的出現(xiàn)，千篇一律的應(yīng)用形式會帶給觀眾審美疲勞，讓觀眾失去興趣，從而阻礙該領(lǐng)域的發(fā)展。