（武漢理工大學(xué)藝術(shù)與設(shè)計(jì)學(xué)院，湖北武漢 430072）

一、音樂(lè)可視化的發(fā)展歷史

1.早期聯(lián)系音樂(lè)與視覺(jué)的實(shí)驗(yàn)——克拉尼圖形

早在十八世紀(jì)，物理學(xué)家恩斯特·克拉德尼就做過(guò)音畫(huà)互轉(zhuǎn)的實(shí)驗(yàn)，巧妙地將視覺(jué)與聲音聯(lián)系了起來(lái)。他在小提琴上放了一塊金屬制的板子，并均勻地在上面撒上細(xì)沙。當(dāng)他開(kāi)始演奏小提琴時(shí)，金屬板上的細(xì)沙隨著音樂(lè)的變化，自動(dòng)呈現(xiàn)出各種各樣變幻的圖案。并且根據(jù)曲調(diào)的不同，和頻率的不同，呈現(xiàn)出了不同的圖案形式。恩斯特·克拉德尼的這個(gè)實(shí)驗(yàn)在物理層面將音樂(lè)的曲調(diào)和頻率與視覺(jué)上的幾何圖案客觀上結(jié)合到了一起。他的實(shí)驗(yàn)為后人很好地開(kāi)辟了研究思路。

2.藝術(shù)作品中的音樂(lè)可視化——康定斯基

著名的俄國(guó)畫(huà)家，世界公認(rèn)的抽象藝術(shù)大師瓦西里·康定斯基（Wassily Kandinsky），他認(rèn)為音樂(lè)和繪畫(huà)同樣都是藝術(shù)的表達(dá)方法之一，擁有同樣的精神內(nèi)核，因此能夠相互滲透，通過(guò)一定的形式進(jìn)行轉(zhuǎn)化。音樂(lè)的欣賞擁有時(shí)間性，而繪畫(huà)能夠讓人在瞬間直觀地感受到藝術(shù)情感?？刀ㄋ够运囆g(shù)形式中所傳達(dá)出的抽象精神為初始點(diǎn)，以抽象繪畫(huà)為方法，對(duì)音樂(lè)可視化進(jìn)行深入的探索。

3.為音樂(lè)視覺(jué)化賦予時(shí)間性——漢斯·李希特

20世紀(jì)初，伴隨著攝影、電影等行業(yè)的迅速發(fā)展，音樂(lè)可視化得到了進(jìn)一步的深入發(fā)展。作為一名出色的電影、動(dòng)畫(huà)導(dǎo)演，漢斯·李希特疲于靜止化的藝術(shù)創(chuàng)作，并且開(kāi)始追逐一種帶有節(jié)奏和韻律的電影形式。他采用自己獨(dú)特的繪畫(huà)方式，將音樂(lè)進(jìn)行視覺(jué)化的演繹，創(chuàng)作出了奇特的動(dòng)畫(huà)短片，在康定斯基的基礎(chǔ)上為視覺(jué)化的音樂(lè)賦予時(shí)間性，為平面畫(huà)面增加了四維的時(shí)間特性，彌補(bǔ)了視覺(jué)與音樂(lè)的時(shí)長(zhǎng)差距，向近代的音樂(lè)可視化又邁出了一大步。

4.現(xiàn)代化的虛擬3D視覺(jué)音樂(lè)場(chǎng)景——Animusic公司

到了計(jì)算機(jī)技術(shù)展開(kāi)進(jìn)一步發(fā)展的如今，運(yùn)用計(jì)算機(jī)做出3D化的視覺(jué)效果并不是難事。Animusic公司就利用計(jì)算機(jī)技術(shù)制作了一系列的虛擬樂(lè)器，用動(dòng)畫(huà)的形式進(jìn)行演繹，趣味性十足，相較以上幾種方式更為直觀易懂。三維的傳媒相較于二維更具有直觀真實(shí)的效果，而跟隨這樣的思路，我們同樣可以將三維轉(zhuǎn)變?yōu)樗木S，五維，使音樂(lè)可視化越來(lái)越真實(shí)可觀。

二、音樂(lè)可視化在現(xiàn)代的應(yīng)用價(jià)值和優(yōu)勢(shì)

1.時(shí)代發(fā)展改變了文化的承載形式

一般來(lái)說(shuō)，音樂(lè)是聽(tīng)覺(jué)，通過(guò)耳朵進(jìn)行傳播，人們?cè)隈雎?tīng)的過(guò)程中感受到情感變化，從而產(chǎn)生對(duì)音樂(lè)藝術(shù)的享受。而從電影到電視，最后發(fā)展到便捷的手機(jī)屏幕，現(xiàn)代傳達(dá)和傳播技術(shù)發(fā)展使得人們對(duì)于屏幕的閱讀似乎呈現(xiàn)著不可替代的作用。而快節(jié)奏的生活方式導(dǎo)致人們不愿花時(shí)間聽(tīng)完一首富有情感的音樂(lè)作品，直接以視覺(jué)的方式呈現(xiàn)在眼前省去了聆聽(tīng)的過(guò)程，將藝術(shù)情感瞬間傳達(dá)到內(nèi)心，在極短的時(shí)間內(nèi)獲取需要的信息，達(dá)到欣賞和享受的目的。如果能夠?qū)崿F(xiàn)音樂(lè)可視化，那么人們對(duì)于藝術(shù)精神的接收將更加直觀高效。

2.新型媒體的普及是音樂(lè)可視化的發(fā)展條件

如今，傳播媒體誕生了一項(xiàng)全新的技術(shù)——虛擬現(xiàn)實(shí)。虛擬現(xiàn)實(shí)如VR、AR技術(shù)所想要達(dá)到的目的與音樂(lè)可視化的目的有共通之處，即創(chuàng)造一種沉浸式體驗(yàn)與真實(shí)感，讓人身臨其境。目前現(xiàn)有的虛擬現(xiàn)實(shí)技術(shù)多數(shù)是通過(guò)還原人類在真實(shí)世界中，視覺(jué)上的感受而達(dá)成的，而音樂(lè)可視化可以通過(guò)將耳朵所聽(tīng)與視覺(jué)所看結(jié)合在一起，營(yíng)造立體影音的環(huán)境，從感官的多維角度讓人體驗(yàn)到“沉浸感”。在這樣的條件下，將音樂(lè)與視覺(jué)相互配合成為虛擬現(xiàn)實(shí)技術(shù)發(fā)展的要求，虛擬現(xiàn)實(shí)技術(shù)的日漸普及也為音樂(lè)可視化創(chuàng)造了充分的條件。

3.社會(huì)發(fā)展是音樂(lè)可視化研究的重要推動(dòng)力

科學(xué)技術(shù)不斷發(fā)展，帶動(dòng)著人們的思維和精神境界也有更高的要求。以往通過(guò)單一感官所產(chǎn)生的感受過(guò)于單維化，平面化，而各感官相互結(jié)合轉(zhuǎn)化的體驗(yàn)可以通過(guò)改變?nèi)藗冋J(rèn)識(shí)世界的角度和形式，拓寬認(rèn)知模式。例如患有“通感癥”的藝術(shù)家梅麗莎·麥克柯萊肯（Melissa McCracken）天生便可以將耳朵聽(tīng)到的聲音轉(zhuǎn)化為五光十色、鮮艷動(dòng)人的色彩。她所看到的世界與平常人是不一樣的，正因如此她成了一名優(yōu)秀的藝術(shù)家。如果音樂(lè)可視化發(fā)展到一定程度，普通人也能“看到”音樂(lè)藝術(shù)，那么人們的認(rèn)知模式和對(duì)世界的理解也將發(fā)生變化。反過(guò)來(lái)，這種認(rèn)知模式的拓展也可以催生全新的行業(yè)，以及現(xiàn)有行業(yè)的突破式發(fā)展。社會(huì)各行各業(yè)的發(fā)展導(dǎo)致人們對(duì)音樂(lè)的視覺(jué)可視化研究的追求目標(biāo)越來(lái)越精細(xì)，從而推動(dòng)著音樂(lè)可視化的進(jìn)一步發(fā)展。

三、應(yīng)用的實(shí)現(xiàn)形式

1.音樂(lè)各要素與視覺(jué)的相互轉(zhuǎn)化

這是一種客觀理性的轉(zhuǎn)化方式。通過(guò)克拉尼圖形我們能夠知道，對(duì)于音樂(lè)上所產(chǎn)生的不同音調(diào)、振幅，在視覺(jué)上可以通過(guò)特殊方法進(jìn)行一一對(duì)應(yīng)。音樂(lè)主要包括旋律、曲調(diào)、和聲、調(diào)式、音色五要素。而視覺(jué)繪畫(huà)包括點(diǎn)、線、面、明暗、色彩這些要素。如果總結(jié)并規(guī)定某種規(guī)則，那么客觀上來(lái)說(shuō)，音樂(lè)與繪畫(huà)完全可以進(jìn)行理性的相互轉(zhuǎn)化。例如漢斯·李希特的音樂(lè)視覺(jué)化短片，他將音樂(lè)的曲調(diào)、旋律、節(jié)奏轉(zhuǎn)化為一個(gè)個(gè)幾何形，跟隨音樂(lè)元素的變化設(shè)置旋轉(zhuǎn)、縮放等一系列動(dòng)效，便是早期簡(jiǎn)單的相互轉(zhuǎn)化。我們可以在他的基礎(chǔ)上對(duì)這種對(duì)應(yīng)規(guī)則進(jìn)行細(xì)化，以求得更加有效的相互對(duì)應(yīng)。目前，通過(guò)vvvv、Processing等編程軟件進(jìn)行音樂(lè)的視覺(jué)化已經(jīng)成為專業(yè)領(lǐng)域內(nèi)的重要研究工具。

2.音樂(lè)可視化與情感的相互轉(zhuǎn)化

音樂(lè)與繪畫(huà)同為藝術(shù)，筆者認(rèn)為其目的在于表達(dá)創(chuàng)作者的心境，或傳達(dá)理念，使得接受者能夠在欣賞時(shí)體會(huì)到同等的感性或理性沖擊，達(dá)成共鳴。同樣成為藝術(shù)形式的音樂(lè)和繪畫(huà)統(tǒng)一于一件事情——“感受”，可以以人們的主觀感受為切入點(diǎn)，將兩者所傳達(dá)的相似或相同的情感作為兩者的紐帶，作為一種符號(hào)進(jìn)行轉(zhuǎn)化和傳播?？刀ㄋ够凇墩撍囆g(shù)的精神》一書(shū)里說(shuō)道：“在音樂(lè)里，淡藍(lán)色是長(zhǎng)笛，深藍(lán)色是大提琴，更深的藍(lán)色就是雷鳴般的雙管巴松，最深的藍(lán)色是管風(fēng)琴?！彼麑⑸逝c樂(lè)器所帶來(lái)的感覺(jué)進(jìn)行對(duì)應(yīng)，足以體現(xiàn)不同種類的藝術(shù)之間是可以相互轉(zhuǎn)化，相互聯(lián)通的。如果我們將這樣的情感符號(hào)進(jìn)行系統(tǒng)化的總結(jié)和對(duì)應(yīng)，就能夠?qū)崿F(xiàn)情感層面上的相互轉(zhuǎn)化。這是一種主觀感性的轉(zhuǎn)化方式。

四、應(yīng)用領(lǐng)域

1.現(xiàn)代平面的交互設(shè)計(jì)

如今手機(jī)音樂(lè)類軟件和游戲行業(yè)迅速發(fā)展，而音樂(lè)與視覺(jué)的彼此結(jié)合，互相成就，互相彌補(bǔ)也成為行業(yè)發(fā)展的一種手段。例如“網(wǎng)易云音樂(lè)”APP，在音樂(lè)播放時(shí)，往往會(huì)伴隨著唱片機(jī)形狀的播放界面緩緩轉(zhuǎn)動(dòng)的特效，以配合音樂(lè)的播放。電腦端的Windows media player，在音樂(lè)播放時(shí)，會(huì)提取出音頻的音調(diào)、節(jié)奏等元素，進(jìn)行視覺(jué)的轉(zhuǎn)化。而音樂(lè)類游戲如“節(jié)奏大師”，也是根據(jù)音樂(lè)和視覺(jué)相互配合的方式來(lái)產(chǎn)生趣味性。目前，5G時(shí)代的到來(lái)將進(jìn)一步改變?nèi)藗兊纳罘绞胶徒邮招畔⒌姆绞?。從一開(kāi)始的紙質(zhì)傳媒到聲媒，再到畫(huà)面和視頻，5G的到來(lái)很可能給大家?guī)?lái)全新的追求和感受。各個(gè)感官之間的配合，從全方位為人們提供全面的感受成為新的追求。

2.與虛擬現(xiàn)實(shí)技術(shù)的結(jié)合

隨著虛擬現(xiàn)實(shí)技術(shù)如VR、AR的發(fā)展，音樂(lè)不僅可以轉(zhuǎn)化出平面的視覺(jué)形象，并且可以轉(zhuǎn)化成3D的虛擬現(xiàn)實(shí)場(chǎng)景。音樂(lè)視覺(jué)化作為一種沉浸式藝術(shù)，與虛擬技術(shù)互相配合，融合多種傳播形式，將視覺(jué)、聽(tīng)覺(jué)甚至觸覺(jué)融為一體，便足以給讀者創(chuàng)造一個(gè)更加真實(shí)的沉浸感。據(jù)調(diào)查顯示，對(duì)于人類生存最具有重要意義的信息，絕大部分都來(lái)自視覺(jué)。而虛擬技術(shù)環(huán)境下的音樂(lè)可視化中，視覺(jué)超越聽(tīng)覺(jué)占據(jù)主導(dǎo)地位，從而跟日常生活的習(xí)慣更加相符。例如steam游戲《視覺(jué)幻象(Visionarium)》，是一個(gè)由音樂(lè)驅(qū)動(dòng)的虛擬現(xiàn)實(shí)體驗(yàn)游戲。在播放音樂(lè)的同時(shí)，通過(guò)視覺(jué)的變化和律動(dòng)，創(chuàng)造了比平面視覺(jué)轉(zhuǎn)化更加富有沖擊力、更真實(shí)的沉浸感心理體驗(yàn)，不僅從視覺(jué)上，并且從心理上也讓人設(shè)身處地地“感受”到音樂(lè)。

3.關(guān)愛(ài)聾啞人的情感化設(shè)計(jì)

對(duì)殘疾人士的情感化關(guān)懷是社會(huì)文明的重要象征。聾啞人無(wú)法聽(tīng)見(jiàn)聲音，發(fā)出聲音，這讓他們對(duì)于世界的認(rèn)識(shí)不夠全面，并且目前社會(huì)上缺乏對(duì)于聾啞人的關(guān)愛(ài)。但也正由于聾啞人缺乏聽(tīng)覺(jué)上的感受，因此對(duì)于視覺(jué)、觸覺(jué)、嗅覺(jué)等感受更加敏感。如果可以實(shí)現(xiàn)音樂(lè)可視化，將音樂(lè)轉(zhuǎn)化為視覺(jué)可見(jiàn)的事物，那么便有可能做到讓聾啞人“看見(jiàn)”聲音，從而感受音樂(lè)之美。

4.兒童的音樂(lè)教育

藝術(shù)教育可以激發(fā)人們對(duì)于美的感受，讓人們對(duì)外界事物認(rèn)知更加敏感。單純通過(guò)聽(tīng)覺(jué)所傳授的音樂(lè)教育效果并不明顯，如果在教學(xué)過(guò)程中，可以將音樂(lè)轉(zhuǎn)化為一定的視覺(jué)形式，運(yùn)用視聽(tīng)相互配合的方式進(jìn)行音樂(lè)教學(xué)，我們可以設(shè)想，它能夠讓兒童產(chǎn)生更直觀的理解與感受，并且增加了音樂(lè)藝術(shù)教學(xué)的趣味性，培養(yǎng)孩子從多維角度理解藝術(shù)。

五、結(jié)語(yǔ)

由音樂(lè)的視覺(jué)可視化發(fā)展趨勢(shì)我們不難看出，視覺(jué)和聽(tīng)覺(jué)相互結(jié)合的形式在未來(lái)的時(shí)代發(fā)展中，有著無(wú)窮無(wú)盡的進(jìn)步空間和應(yīng)用前景。我們相信，隨著時(shí)代的發(fā)展進(jìn)步和人類文明程度的不斷提升，音樂(lè)可視化將迎來(lái)全新的時(shí)代，并進(jìn)一步改變?nèi)藗冋J(rèn)識(shí)世界的角度和方式。同時(shí)，筆者也將有關(guān)音樂(lè)可視化的研究繼續(xù)推進(jìn)，期望未來(lái)有更進(jìn)一步的發(fā)展。