盧達均

（東莞市文化館，廣東 東莞523000）

一、引言

音樂作為一種藝術形式，不僅能夠抒發(fā)情感、反映社會現(xiàn)實生活，在歷史上還曾有過鼓舞人心、治療疾病的例子，即使是不同國度不同時代的人也可以欣賞。在音樂被譜寫之后，樂器的演奏或人聲的演唱等詮釋方式能夠將其傳達給聽眾，為了能夠使聽眾更全面地體會音樂所表達的情感和思想，創(chuàng)作或傳播者采用了不同的輔助表達方式?？梢暬陌l(fā)展為音樂的表達提供了新的方式，使用特定的規(guī)則進行解讀，為其產生可復現(xiàn)的視覺效果。

二、音樂可視化的研究內容和現(xiàn)狀

可視化（Visualization）是使用計算機圖形學和圖像處理技術，將數據通過圖形或圖像的方式進行顯示并進行交互處理的理論、方法和技術。音樂可視化（MusicVisualization）是利用可視化的方法，客觀解釋和判斷音樂的表現(xiàn)力和結構，幫助聽眾提供理解、分析、比較音樂。

在應用方面，Windows、MacOSX、Linux 等平臺上都有支持音樂可視化的媒體播放器，也有人使用D3.js 和HTML5 實現(xiàn)了音樂可視化的效果。在可視化過程中涉及到的技術包括音樂信息提取技術、圖像生成技術、主觀評價技術等。音樂信息提取技術主要用于音高、節(jié)奏等信息的識別；圖像生成技術將音樂表現(xiàn)要素具體化、形象化、直觀化；主觀評價技術的應用可以統(tǒng)籌兼顧地運用藝術、聲學、技術手段得到親切、舒適、完整、統(tǒng)一的效果，防止顧此失彼。如果是在現(xiàn)場展示一個錄音與擴聲要求較高的音樂可視化作品，不可只依賴人工混響聲，應根據可視化作品的內容、演奏和雜音場所、設備系統(tǒng)等來確定聲音的立體感、聲像群結構動態(tài)范圍和各聲源的具體聲音形象等

三、音樂可視化的分類

音樂可視化目前有幾種分類方法，交互性、實時性、維數角度、體驗感和音頻數據類型等。

1.交互性從交互性來分類，可分為非交互式可視化與交互式可視化。當計算機播放某多媒體程序的時候，編程人員可以發(fā)出指令控制該程序的運行，而不是程序單方面執(zhí)行下去，程序在接收到編程人員相應的指令后相應地做出反應，這一過程及行為，稱之為交互。大部分的可視化都是交互式的。

2. 實時性實時性可以定義為在規(guī)定時間內系統(tǒng)的反應能力。按照實時性分類，可以分為硬實時和軟實時。硬實時與軟實時之間最關鍵的差別在于，軟實時只能提供統(tǒng)計意義上的實時。

例如，有的應用要求系統(tǒng)在95%的情況下都會確保在規(guī)定的時間內完成某個動作，而不一定要求100%。比如，用戶在操作播放機時，只要98%的情況能正常播放，用戶可能就滿意了；而發(fā)射衛(wèi)星、控制核反應堆的應用系統(tǒng)，這些系統(tǒng)的實時性必須達到100%，絕對不允許出現(xiàn)意外。音樂可視化應用基本是軟實時系統(tǒng)。

3.維數從維數來分類，可分為二維和三維。目前電影、動畫都在朝著三維方向發(fā)展，通過三維技術創(chuàng)造的視覺特效可以帶來非凡的體驗。

四、音樂可視化的表達方式

音樂可視化按照視覺空間維數，可以分為二維與三維兩類。二維的音樂可視化需要的數據維度低，實現(xiàn)較為簡單，而三維由于表現(xiàn)力強，適合構造復雜對象，主要應用于沉浸感要求高的場合。

在二維的可視化中，靜止的圖像顯示出音頻的兩個維度的參數的關聯(lián)，或是對出現(xiàn)的某些結構、文本特征進行挖掘，也有圖像隨時間變化的動態(tài)展現(xiàn)。而三維超越了平面空間的維度限制，可以將時間流動疊加到二維所中時間以外的兩個維度上。

除此之外，在現(xiàn)實世界中通過音源的振動，使水、粉末、火焰等產生不同的形狀，也可以作為三維的一種拓展；RTaylor 等人采用虛擬現(xiàn)實實時系統(tǒng)對音樂家演奏的音樂特征進行提取，并映射到虛擬角色的行為中，給人以沉浸感。還有一些較為特殊的表達方式——使用形容詞對音樂中的情感檢測結果進行表達，將音頻與人心理感受相似的色彩名稱、情緒名稱進行分類及匹配。采用能夠引起類似情緒的圖片來標志音頻，也是一種創(chuàng)新。

五、音樂可視化的研究進展

（一）音樂特征提取

對自然音頻和結構性音頻特征提取方法是不一樣的。為了便于對自然音頻（如WAV、MP3 等格式的音頻）的內容分析和特征提取，應對原始音頻數據進行預處理，目前有傅里葉分析、固定窗口等典型的變換方法，在此基礎上，再對其進行特征提取。對于結構性音頻（如MIDI 格式的音樂），由于這類音頻是由一些控制聲卡發(fā)聲的指令組成的，很容易從中找到音色、音高、音長等信息的對應位置，然后按其格式的規(guī)則進行相應的轉換，即可提取到這些特征。孫鵬玉在《波形音樂文件特征提取方法的研究》中提出，音樂的特征可以分為基本特征、復雜特征和整體特征三個方面。

（二）感檢測與情感表達

音樂與情感有非常密切的關系，情感對音樂的理解、欣賞和創(chuàng)作有著重要的影響。張娜等人在《音樂情感的特征與識別》中寫了運用多元分析法對音樂所包含的情感色彩進行提取與分析，并將測試音樂樣本按照舒緩激越情感特征進行分類，然后從數字信號處理技術角度探討不同類別的音樂所具有的特征，最終使計算機能夠像人一樣識別音樂情感色彩。

（三）虛擬現(xiàn)實

隨著社會生產力和科學技術的不斷發(fā)展，各行業(yè)對虛擬現(xiàn)實技術的需求日益旺盛，虛擬現(xiàn)實技術也取得了巨大進展，并逐步成為一個新的科學技術領域。音樂可視化的發(fā)展伴隨虛擬現(xiàn)實技術的加入更具感染力。1969 年，著名物理學家和教育學家弗蘭克·奧本海默創(chuàng)建了舊金山探索館（“探夢館”），它是一個集視覺、聽覺、觸覺等多感官體驗的互動型科學館，由一座古建筑物改造而成，為今后的博物館研究提供了寶貴參考。美國密尼索尼亞博物館，每隔一段時間會展示不同的主題。

六、音樂可視化研究面臨的挑戰(zhàn)

音樂可視化還處于初期階段，在研究和應用領域都面臨許多問題，在對音樂的理解和可視化技術上都需要進一步的研究，才能使音樂可視化更好地發(fā)展。

（一）缺少專業(yè)知識

從對音樂的研究方面，音樂可視化的研究人員可能對音樂的專業(yè)知識，如音樂學、音樂認知神經科學、音樂心理學等，并沒有足夠的認知，因此在可視化系統(tǒng)的設計與制作中，缺乏專業(yè)知識的依托而無法準確捕捉要點。

（二）模式單一

現(xiàn)有的音樂可視化系統(tǒng)分析的內容，對簡單的低層的音樂屬性尚能進行多維體現(xiàn)，但對于語義、情感等高層屬性則只能研究到一維且是靜態(tài)的地步。

（三）應用型可視化系統(tǒng)忽視用戶情感體驗

目前很多設計出來供人在聽音樂的過程中加入視覺體驗的可視化系統(tǒng)，是研究人員通過自身對音樂的了解得到的，不同的人對音樂的理解的深度并不相同。另外，部分研究人員對系統(tǒng)設計的完備程度、新鮮程度等的重視程度，超過了刺激使用者內在情感潛能的重視程度，此兩點導致部分可視化系統(tǒng)對于使用者來說是毫無意義的，使用者并不能從中感受到音樂的涵義變得具體或深刻。

七、結語

音樂可視化有別于傳統(tǒng)音樂藝術，開啟了音樂解讀的新時期，是對音樂的描述和理解的新方式。國內外對音樂可視化的理論研究和系統(tǒng)、工具開發(fā)都有了很多成果，在音樂分析、音樂教學、游戲娛樂、情感表達等方面具有應用。

目前，對音樂可視化的研究仍舊面臨挑戰(zhàn)，期待隨著科技的發(fā)展和理論應用不斷完善，音樂可視化能夠在形式和內涵上更加豐富，應用更加全面。