王鈞平

（中國音樂學(xué)院，北京 100101）

1 音樂可視化的概念

音樂可視化（music visualization）是信息可視化的一個分支，是音樂的一種表達方式。它是以視覺為核心，以音樂為載體，以大眾為訴求對象，借助多種新媒體技術(shù)等傳播媒介，通過畫面、影像來詮釋音樂內(nèi)容的、視聽結(jié)合的大眾化傳播方式[1]。它是一種能為理解、分析和比較音樂藝術(shù)作品形態(tài)的表現(xiàn)力和內(nèi)外部結(jié)構(gòu)提供直觀視覺呈現(xiàn)的技術(shù)[2]。

音樂可視化是一種新的跨領(lǐng)域的技術(shù)，涵蓋音樂聲學(xué)、數(shù)字音頻、動畫、圖像處理、虛擬現(xiàn)實等領(lǐng)域。音樂可視化在對音樂的特征（如波形、頻率、音調(diào)、音高、節(jié)奏、速度等）進行提取之后映射到相應(yīng)的可視化效果，這些特征提取出來之后，就可以轉(zhuǎn)化為視覺的效果。目前，一般的視覺效果都是對音樂在低層特征方面的提取和轉(zhuǎn)化[3]，Windows Media Player中的可視化效果便是音樂可視化的典型代表，還有Winamp中的插件Milkdrop也可以實現(xiàn)音樂可視化，并且可以自己進行編碼改變圖像的形狀、顏色、位置等。

在可視化過程中涉及到的技術(shù)包括音樂信息提取技術(shù)、圖像生成技術(shù)、主觀評價技術(shù)等。音樂信息提取技術(shù)主要用于音高、節(jié)奏等信息的識別；圖像生成技術(shù)將音樂表現(xiàn)要素具體化、形象化、直觀化；主觀評價技術(shù)的應(yīng)用可以統(tǒng)籌兼顧地運用藝術(shù)、聲學(xué)、技術(shù)手段得到親切、舒適、完整、統(tǒng)一的效果，防止顧此失彼。如果是在現(xiàn)場展示一個錄音與擴聲要求較高的音樂可視化作品，不可只依賴人工混響聲，應(yīng)根據(jù)可視化作品的內(nèi)容、演奏和雜音場所、設(shè)備系統(tǒng)等來確定聲音的立體感、聲像群結(jié)構(gòu)動態(tài)范圍和各聲源的具體聲音形象等。

2 音樂可視化的分類

音樂可視化目前有幾種分類方法，交互性、實時性、維數(shù)角度、體驗感和音頻數(shù)據(jù)類型等[4]。

（1）交互性

從交互性來分類，可分為非交互式可視化與交互式可視化。當計算機播放某多媒體程序的時候，編程人員可以發(fā)出指令控制該程序的運行，而不是程序單方面執(zhí)行下去，程序在接收到編程人員相應(yīng)的指令后相應(yīng)地做出反應(yīng)，這一過程及行為，稱之為交互。大部分的可視化都是交互式的。

（2）實時性

實時性可以定義為在規(guī)定時間內(nèi)系統(tǒng)的反應(yīng)能力。按照實時性分類，可以分為硬實時和軟實時[5]。硬實時與軟實時之間最關(guān)鍵的差別在于，軟實時只能提供統(tǒng)計意義上的實時。例如，有的應(yīng)用要求系統(tǒng)在95%的情況下都會確保在規(guī)定的時間內(nèi)完成某個動作，而不一定要求100%。比如，用戶在操作播放機時，只要98%的情況能正常播放，用戶可能就滿意了；而發(fā)射衛(wèi)星、控制核反應(yīng)堆的應(yīng)用系統(tǒng)，這些系統(tǒng)的實時性必須達到100%，絕對不允許出現(xiàn)意外。音樂可視化應(yīng)用基本是軟實時系統(tǒng)。

（3）維數(shù)

從維數(shù)來分類，可分為二維和三維。目前電影、動畫都在朝著三維方向發(fā)展，通過三維技術(shù)創(chuàng)造的視覺特效可以帶來非凡的體驗。

（4）體驗感

從體驗感的角度來分類，可分為沉浸式、半沉浸式和非沉浸式三種。沉浸是指精神的全神貫注，從一種精神狀態(tài)到另一種精神狀態(tài)的發(fā)展變化過程，增加對當前事件的情感投入。

（5）音頻數(shù)據(jù)類型

根據(jù)音頻數(shù)據(jù)的類型，一般可以分為對自然音頻的可視化和對結(jié)構(gòu)性音頻的可視化兩種。MPEG4音頻標準把音頻分為兩類：自然音頻和結(jié)構(gòu)性音頻。自然音頻分為一般性音頻和語音，包括MP3和其他數(shù)據(jù)壓縮格式的音頻。結(jié)構(gòu)性音頻主要是指MIDI（Musical Instrument Digital Interface）格式的音頻，它主要是由一些指令和參數(shù)組成，包括音符及其起音、音高、音色、速度等信息，對于特征提取比較方便。

3 音樂可視化的研究進展

3.1 音樂特征提取

對自然音頻和結(jié)構(gòu)性音頻特征提取方法是不一樣的。為了便于對自然音頻（如WAV、MP3等格式的音頻）的內(nèi)容分析和特征提取，應(yīng)對原始音頻數(shù)據(jù)進行預(yù)處理[3]，目前有傅里葉分析、固定窗口等典型的變換方法[2]，在此基礎(chǔ)上，再對其進行特征提取。對于結(jié)構(gòu)性音頻（如MIDI格式的音樂）[6]，由于這類音頻是由一些控制聲卡發(fā)聲的指令組成的，很容易從中找到音色、音高、音長等信息的對應(yīng)位置，然后按其格式的規(guī)則進行相應(yīng)的轉(zhuǎn)換，即可提取到這些特征。

孫鵬玉在《波形音樂文件特征提取方法的研究》[7]中提出，音樂的特征可以分為基本特征、復(fù)雜特征和整體特征三個方面?；咎卣靼ㄒ舴囊舾摺⒁糸L、音強等；復(fù)雜特征是由基本特征基礎(chǔ)上分析出來的，包括樂段的音程、節(jié)奏、旋律等；而整體特征是由復(fù)雜特征分析而來的，包括音樂的情感、曲風(fēng)等。首先，給出一種音符提取的方法，提高音符提取準確率。通過對WAV格式音樂文件的分析，得到音樂的采樣數(shù)據(jù)等信息。然后，通過對信號的壓縮、去噪和高斯低通濾波處理，獲得信號的包絡(luò)線。接著通過快速傅立葉變換，對包絡(luò)線進行峰值檢測，提取出音符。通過對音符的分析，提取出音符的音高、音長、音強等特征。其次，設(shè)計了一種劃分小節(jié)的方法。根據(jù)小節(jié)的樂理特征在音樂信號上的表現(xiàn)，設(shè)計了一種加窗移動匹配的方法，將小節(jié)線提取出來。通過對小節(jié)的分析，獲得小節(jié)的音高、音長、音強的平均值與穩(wěn)定性等特征。這是對于自然音頻特征提取的方法。

而對于結(jié)構(gòu)性音頻特征提取，孫鵬玉也提出在以MIDI格式為音樂主要存儲格式的時期，由于可以從音樂文件中直接讀出音符和小節(jié)的信息，因此，對音樂進行特征提取研究的重點放在情感特征識別方面。

3.2 情感檢測與情感表達

音樂與情感有非常密切的關(guān)系，情感對音樂的理解、欣賞和創(chuàng)作有著重要的影響。

張娜等人在《音樂情感的特征與識別》[8]中寫了運用多元分析法對音樂所包含的情感色彩進行提取與分析，并將測試音樂樣本按照舒緩激越情感特征進行分類，然后從數(shù)字信號處理技術(shù)角度探討不同類別的音樂所具有的特征，最終使計算機能夠像人一樣識別音樂情感色彩。

中國音樂學(xué)院音樂科技系師生在民族樂器的主觀聽覺屬性實驗中[9]，對音樂情感的描述詞進行篩選，然后運用系列范疇法等就每一個評價對象在給定的一組范疇或尺度上進行評價，經(jīng)過意見分類統(tǒng)計、左側(cè)范疇累計人數(shù)、累計百分數(shù)、p-z轉(zhuǎn)化等步驟，最終得到數(shù)據(jù)結(jié)果。這次實驗對音樂情感的特征與識別有著重要意義，在民族管弦樂的配器、數(shù)據(jù)自動標注等方面具有一定應(yīng)用價值。

音樂是由一連串音符所組成的，每個音符又包含諸如音高、時值、力度等信息；但是音樂情感不是通過單獨的音所表現(xiàn)的，而是通過整體旋律展現(xiàn)的[10]。旋律的進行速度、調(diào)式等都會對音樂情感的表現(xiàn)產(chǎn)生影響。

3.3 虛擬現(xiàn)實

隨著社會生產(chǎn)力和科學(xué)技術(shù)的不斷發(fā)展，各行業(yè)對虛擬現(xiàn)實技術(shù)的需求日益旺盛， 虛擬現(xiàn)實技術(shù)也取得了巨大進展，并逐步成為一個新的科學(xué)技術(shù)領(lǐng)域[11]。音樂可視化的發(fā)展伴隨虛擬現(xiàn)實技術(shù)的加入更具感染力。

1969年，著名物理學(xué)家和教育學(xué)家弗蘭克·奧本海默創(chuàng)建了舊金山探索館（“探夢館”），它是一個集視覺、聽覺、觸覺等多感官體驗的互動型科學(xué)館，由一座古建筑物改造而成，為今后的博物館研究提供了寶貴參考。美國密尼索尼亞博物館，每隔一段時間會展示不同的主題。其中音樂主題研究的是音樂與樂器之間的發(fā)展，展示了美國樂器和音樂理論的發(fā)展史。由Golan Levin等人創(chuàng)建的可視化系統(tǒng)“Messa divo-ce”①，將表演者的物理特性和他們表演的虛擬空間的物理特性聯(lián)系起來。該系統(tǒng)形象化地表示了現(xiàn)場歌唱者的發(fā)聲法，系統(tǒng)中虛擬場景的大小讓表演者感覺到自己也是表演所在的虛擬空間的一部分[3]。

虛擬現(xiàn)實技術(shù)增強了音樂可視化作品的力度和感染力。對音樂可視化的發(fā)展有著重要影響。

4 音樂可視化的用途

隨著新媒體藝術(shù)的發(fā)展，技術(shù)的不斷完善，音樂可視化為人們享受音樂、理解音樂提供了多種可能。

音樂可視化可以運用到多種領(lǐng)域。酒吧、電子音樂節(jié)的表演現(xiàn)場，LED屏幕上的圖像變化與音樂節(jié)奏相結(jié)合，可以給人以強烈的視覺沖擊。電子游戲中音樂可視化的應(yīng)用，例如“跳舞的線”，音樂與游戲中的元素結(jié)合，提高娛樂性，玩家不僅需要用雙眼來觀察障礙物與陷阱，更需要用雙耳聆聽音樂，旋律與節(jié)奏會幫助玩家走得更遠。音樂教育中可以結(jié)合音樂可視化，例如，輔助聽障兒童音樂教育，它的目的不僅是彌補特殊兒童聽說能力的缺失，更在于幫助他們通過音樂欣賞嘗試體會正常人能感受到的美好，增強自信和表達、理解能力，釋放不良情緒，改變孤獨、自閉的行為方式[12]，音樂可視化使音樂教學(xué)變得更生動有趣，充滿意義。商業(yè)中利用音樂可視化技術(shù)的音樂噴泉，使噴泉和燈光的變化與音樂同步，噴泉的效果更為生動，例如西湖的音樂噴泉。不管是哪種領(lǐng)域，音樂可視化的發(fā)展令人期待。

5 音樂可視化作品

5.1 《Beatbox Cymatics》

《Beatbox Cymatics》的作者是來自英國倫敦世界著名的Beatboxer Reeps One②。Reeps One是Beatbox界的傳奇人物，他率先將Dubstep與Beatbox結(jié)合，使得Dubstep在Beatbox中流行開來，他開創(chuàng)了諸多音色，并且多次擔任世界大賽的評委。他不僅是一名優(yōu)秀的Beatboxer、一名優(yōu)秀的電子音樂制作人，他還從事美術(shù)創(chuàng)作，包括帆布畫和涂鴉。他曾在邁阿密巴塞爾藝術(shù)博覽會，倫敦、米蘭和東京設(shè)計周等多學(xué)科活動中展出他的作品③。

《Beatbox Cymatics》是世界上第一個Beatbox與音樂可視化結(jié)合的作品。作品的創(chuàng)作和Reeps One音樂與美術(shù)的雙重身份有很大關(guān)聯(lián)——他對音樂的物理認知以及對美術(shù)視覺的感受。

此作品原理是將液體倒在揚聲器的振膜上，液體隨著振膜的振動而振動。將注入液體的大盤子放在揚聲器的頂部，再將攝像機（或者高速攝像機）放在揚聲器的上面，將拍到的畫面進行投影，從而實現(xiàn)Beatbox音樂與液體的實時交互（圖1）。

圖1 《Beatbox Cymatics》音樂可視化

也可以將液體換成粉末，再通過燈光照射，使其產(chǎn)生不同顏色，這樣使Beatbox成為看得見的音樂（圖2～圖4）。

5.2 《Cymatics》

Cymatics是使聲音形象化的過程，基本上借由沙或水等媒介的振動來達成。

Nigel Stanford（又叫John Stanford）是一位來自新西蘭的氛圍音樂家，現(xiàn)居美國紐約④。他不僅受過正規(guī)的音樂教育，并且是新西蘭維多利亞大學(xué)的一名高材生。他曾嘗試將各種科學(xué)器材與樂器結(jié)合在一起進行創(chuàng)作，水、鐵磁流體、等離子球、特斯拉線圈等東西都成為他創(chuàng)作時的道具。一首名為《Cymatics》的音樂作品因其蘊含的科技元素而備受關(guān)注。

把細沙撒在薄板上，當薄板振動時，薄板上的細沙就會顯示各種各樣的圖形，圖形隨振動頻率而變，這種圖形是由德國物理學(xué)家克拉尼（Chladni）發(fā)現(xiàn)的，因而命名為克拉尼圖形。用來顯示克拉尼圖形的薄板就稱為克拉尼板。《Cymatics》其中就用到了克拉尼圖形（圖5）。

《Cymatics》的原理是將液體倒在揚聲器的振膜上，液體隨著振膜的振動而振動。揚聲器盤實驗，將注入液體的大盤子放在揚聲器（音頻在50 Hz和100 Hz）的頂部。在經(jīng)過多項實驗后，選擇冰凍伏特加作為注入液體，因為這種液體帶來的厚重感恰到好處（圖6）?！禕eatbox Cymatics》也采用了這種原理。

此原理是將橡膠軟管固定在揚聲器振膜上，揚聲器連接電鼓，鼓被敲擊會形成水柱的曲折變化，在水通過螺旋狀的軟管凍結(jié)的瞬間，攝像機以25 Hz的幀速率拍攝，進行記錄（圖7）。

魯本管（Ruben's Tube）實驗，在金屬管內(nèi)充滿可燃氣體，與揚聲器連接，不同的音頻會形成不同的壓力波，進一步再通過壓力波作用來影像火焰的高低形狀（圖8）。

鐵磁流體實驗，選擇大小合適的磁體，能夠以足夠的速度形成所需刺狀形態(tài)（圖9）。在磁場關(guān)閉后，通過將液態(tài)磁體在盤中的回聲效應(yīng)，帶動的漣漪詮釋聲音的形狀。

以特拉斯線圈產(chǎn)生的高壓電弧在空氣中的形狀詮釋聲音的形狀，演奏者被特制的全金屬外套包裹（類似等電位服的工作原理），確保人體不會被電傷，同時在鼓棒上纏繞導(dǎo)線來帶動電流，從而形成圖10所示的視覺效果。

5.3 《See Sound》⑤

《See Sound》是藝術(shù)家Rama Allen⑥所創(chuàng)作的一件聲音可視化作品，將多個循環(huán)的、可視化的元素與人聲結(jié)合，組合為一個多媒體雕塑。這些數(shù)字圖像都可以被3D打印出來，人們可以在自己的“聲音雕塑”上簽名（圖11）。

圖2 攝像機正在拍攝粉末的振動

圖3 用燈光照射粉末

圖4 Reeps One在舞臺上表演他的作品

圖5 《Cymatics》克拉尼圖形

圖6 水的振動形態(tài)

圖7 水流波形的變化

圖8 火焰駐波管

《See Sound》使用雕塑原理、循環(huán)測序法、數(shù)據(jù)可視化和飛行控制原理，創(chuàng)建了一條有體積的軌道圖騰。這個作品的Beatboxer就是Reeps one?！禨ee Sound》打印出了世界上第一個Beatbox聲音雕塑作品。不僅使Beatbox成了看得見的音樂，還使Beatbox成為了摸得著的音樂（圖12）。

圖9 鐵磁流體

圖10 特斯拉線圈實驗

圖11 《See Sound》聲音雕塑

圖12 《See Sound》的制作

圖13 《See Beatbox》

圖14 改變背景顏色

圖15 改變線條顏色

圖16 交互中圖像的變化

圖17 《See Beatbox》的MAX/msp 界面

6 《See Beatbox》作品創(chuàng)作

《See Beatbox》是筆者首次嘗試將Beatbox與可視化結(jié)合的作品，目的是為以后研究Beatbox音樂可視化探索出新的方向。

《See Beatbox》通過傳聲器采集聲音，利用Max/msp jitter⑦實時控制圖像變化，包括圖像的位置、長度、寬度、顏色、形狀以及變化的速度等，同時也可通過內(nèi)置播放器實現(xiàn)音樂與圖像的交互（圖13）。

圖像是預(yù)置的線條模板，主要通過一些插件例如ZOOMER（縮放圖像大?。ANNR（圖像的上下左右變化）、SLIDR（圖像的變化速率）等來改變效果。

圖像的變化效果是可以提前進行調(diào)整的。例如顏色，首先可以建立一個erase_color的Patcher，將Patcher連接到圖像，可以改變圖像的背景顏色（圖14）。建立一個mat_emission的Patcher與圖像關(guān)聯(lián)可以改變線條的顏色（圖15）。傳聲器采集聲音，圖像進行變化（圖16）。

《See Beatbox》的視覺效果從振幅中提取的特征轉(zhuǎn)化而來，Beatbox輸出的信號不同于正弦波，而是更加離散的脈沖信號，通過傳聲器收集Beatbox的聲音，節(jié)奏中節(jié)拍變化會使振幅發(fā)生變化，與聲音相關(guān)聯(lián)的插件如ZOOMR的參數(shù)就會隨振幅的變化而變化，從而使圖像發(fā)生變化，與節(jié)奏的變化達成一致。振幅越大，線條就會變得緊湊；反之，線條就會變得分散。圖17所示為《See Beatbox》的MAX/msp界面。

《See Beatbox》在圖像等方面還需完善。后續(xù)希望能創(chuàng)作出與中國水墨畫相結(jié)合的音樂可視化作品。

7 結(jié)語

筆者創(chuàng)作的作品《See Beatbox》不同于《Beatbox Cymatics》，它在圖像變化方面更具有可控性，但是在圖像方面還是相對比較單一，元素較少。

音樂可視化作為新興技術(shù)，具有現(xiàn)代社會高端科技的特點，它結(jié)合視覺與聽覺作為新一代的藝術(shù)語言，給大眾帶來新的感性體驗，雖然還存在諸多難題，但是隨著科學(xué)技術(shù)的發(fā)展，音樂可視化的內(nèi)涵將更加豐富。

音樂可視化領(lǐng)域與Beatbox音樂可視化的結(jié)合對于音樂實踐具有重要意義，為以后研究音樂可視化探索出新的方向，視聽結(jié)合的方式為人們了解音樂提供多種可能，同樣也是為了讓有聽覺障礙的人能看到音樂，感受音樂的魅力。

注釋：

① Levin G,Lieberman Z,In-situ Speech Visualization in Real-Time Interactive Installation and Performance, In:Proceedings of the 3rd International Symposium on Non-Photorealistic Animation and Rendering. New York:ACM Press, 2004,7-14.

② Reeps One,英國Beatboxer, 2009年和2010年的UK Beatbox冠軍。 2009年德國柏林舉辦的World Beatbox Championship四強、2012年德國柏林舉辦的World Beatbox Championship四強。

③ http://www.i-element.org/cymatics/

④ Lever, Anna-Marie (1 June 2011). "Inside the brain of a beatboxer". BBC News. Retrieved 9 August 2012.

⑤ 新媒體藝術(shù)站微信公眾號文章——《在雕塑界這是最好聽的，在說唱界這是最好看的！》

⑥ Rama Allen, http://www.rama-allen.com/see-soundvoice-reactive-sound-sculpture

⑦ Max/msp jitter是基于C語言的圖形化音樂編輯環(huán)境，目前被廣泛地應(yīng)用于互動音樂、交互藝術(shù)、裝置藝術(shù)等創(chuàng)作領(lǐng)域。1984年，巴黎聲學(xué)及音樂調(diào)配研究院IRCAM開發(fā)出MAX，實現(xiàn)以編程方式對設(shè)備進行控制，結(jié)合合成器發(fā)送指令，處理MIDI信息等；1999年，基于MAX開發(fā)的MSP實現(xiàn)了對音頻的實時控制與處理，升級為MAX/MSP，2003年Jitter正式發(fā)布，增加了軟件的視覺設(shè)計功能,發(fā)展成 Max/msp/jitter.

[1]童卡娜,黃東軍,徐鳴. 音樂可視化及其研究進展[J]. 計算機仿真,2008(01):216-220.

[2]白亮,陳劍赟,老松楊,吳玲達. 音頻內(nèi)容分析研究[C].中國計算機大會, 2003.

[3]屈天喜,黃東軍,童卡娜. 音樂可視化研究綜述[J]. 計算機科學(xué),2007(09):16-22.

[4]?；劬? 可視化技術(shù)對音樂視覺表現(xiàn)的影響[J]. 現(xiàn)代商貿(mào)工業(yè),2016,37(34):490-491.

[5]涂剛. 軟實時系統(tǒng)任務(wù)調(diào)度算法研究[D]. 華中科技大學(xué),2004.

[6]謝朝宗,田洪霞. 音樂設(shè)備數(shù)字接口(MIDI)與計算機音樂[M]. 北京:學(xué)苑出版社,1995.

[7]孫鵬玉. 波形音樂文件特征提取方法的研究[D]. 遼寧大學(xué),2013.

[8]張娜,孫赟,毛峽. 音樂情感特征分析[A]. 中國科學(xué)院自動化研究所、中國自動化學(xué)會、中國圖象圖形學(xué)會、中國計算機學(xué)會、中國中文信息學(xué)會、國家自然科學(xué)基金委員會、國家863計劃計算機軟硬件技術(shù)主題.第一屆中國情感計算及智能交互學(xué)術(shù)會議論文集[C].中國科學(xué)院自動化研究所、中國自動化學(xué)會、中國圖象圖形學(xué)會、中國計算機學(xué)會、中國中文信息學(xué)會、國家自然科學(xué)基金委員會、國家863計劃計算機軟硬件技術(shù)主題,2003:4.

[9]中國音樂學(xué)院音樂科技系聽覺主觀實驗報告.

[10]蔣旻雋,周昌樂,黃志剛. 音樂情感的自動識別[J]. 廈門大學(xué)學(xué)報(自然科學(xué)版),2010,49(06):798-802.

[11]趙沁平. 虛擬現(xiàn)實綜述[J]. 中國科學(xué)（F輯：信息科學(xué)）,2009,39(01):2-46.

[12]柳茗千. 輔助聽障兒童音樂教育的可視化方法研究[J]. 教育教學(xué)論壇,2017(01):275-276.