黃宗珊 饒志雙

【摘 要】隨著可視化方法和技術(shù)的不斷進步，對音頻的可視化逐漸發(fā)展。研究者根據(jù)不同特征從不同角度觀察分析音頻文件，并使用可視化展示這些特征。本文結(jié)合現(xiàn)有的研究，簡要地介紹在音樂可視化中分析的特征以及對這些特征所采用的可視化表達方式。

【關(guān)鍵詞】音樂可視化；特征選擇；表達方式

中圖分類號： TP391.42 文獻標識碼： A 文章編號： 2095-2457（2018）05-0211-002

【Abstract】With the continuous progress of visualization methods and technologies， the visualization of audio has been gradually developed. Researchers observe the analysis of audio files from different perspectives based on different characteristics and use visualizations to display these features. This article combines the existing research， briefly introduces the characteristics of the analysis in the visualization of music and the visual representation of these features.

【Key words】Music visualization；Feature selection；Manifestation

0 引言

音樂作為一種藝術(shù)形式，不僅能夠抒發(fā)情感、反映社會現(xiàn)實生活，在歷史上還曾有過鼓舞人心、治療疾病的例子，即使是不同國度不同時代的人也可以欣賞。在音樂被譜寫之后，樂器的演奏或人聲的演唱等詮釋方式能夠?qū)⑵鋫鬟_給聽眾，為了能夠使聽眾更全面地體會音樂所表達的情感和思想，創(chuàng)作或傳播者采用了不同的輔助表達方式?？梢暬陌l(fā)展為音樂的表達提供了新的方式，使用特定的規(guī)則進行解讀，為其產(chǎn)生可復(fù)現(xiàn)的視覺效果。

1 音樂可視化的研究內(nèi)容和現(xiàn)狀

可視化（Visualization）是使用計算機圖形學(xué)和圖像處理技術(shù)，將數(shù)據(jù)通過圖形或圖像的方式進行顯示并進行交互處理的理論、方法和技術(shù)。音樂可視化（Music Visualization）是利用可視化的方法，客觀解釋和判斷音樂的表現(xiàn)力和結(jié)構(gòu)，幫助聽眾提供理解、分析、比較音樂。

對音樂可視化的研究包括了感知模型、特征提取、實時計算、情緒檢測、系統(tǒng)結(jié)構(gòu)、沉浸感的展示、交互式圖形界面以及應(yīng)用研究等。由于音樂可視化結(jié)合了藝術(shù)與科學(xué)，對研究者有一定的要求，因此在這方面的研究相對并不完善，并且可視化系統(tǒng)的一些使用者無法體會系統(tǒng)所表達的涵義。在應(yīng)用方面，Windows、Mac OS X、Linux等平臺上都有支持音樂可視化的媒體播放器，也有人使用D3.js和HTML5實現(xiàn)了音樂可視化的效果。

2 音樂可視化的特征選擇

音樂可視化對單個音頻的特征分析分為兩種層面。低層的特征主要為響度、音調(diào)、頻率、音色等物理特性，Windows Media Player、Winamp附帶的多種可視化效果就是基于振幅和頻率的；Takayuki Itoh[1]等人為了幫助愛好者了解管弦樂曲，依據(jù)不同樂器的樂譜對不同樂器進行區(qū)分。高層的特征主要為語義、情感等， S.Zhang等人[2]在情感分析和可視化的基礎(chǔ)上，實現(xiàn)了基于情感信息的MV檢索。對多個音頻文件，E.Pampalk等人[3]對359段音頻基于心理聲學(xué)模型估計其相似性，在不需要手動進行流派分類的情況下，根據(jù)音樂風(fēng)格差異建造了音樂島。

3 音樂可視化的表達方式

音樂可視化按照視覺空間維數(shù)，可以分為二維與三維兩類。二維的音樂可視化需要的數(shù)據(jù)維度低，實現(xiàn)較為簡單，而三維由于表現(xiàn)力強，適合構(gòu)造復(fù)雜對象，主要應(yīng)用于沉浸感要求高的場合。在二維的可視化中，靜止的圖像顯示出音頻的兩個維度的參數(shù)的關(guān)聯(lián)，或是對出現(xiàn)的某些結(jié)構(gòu)、文本特征進行挖掘，也有圖像隨時間變化的動態(tài)展現(xiàn)。而三維超越了平面空間的維度限制，可以將時間流動疊加到二維所中時間以外的兩個維度上。除此之外，在現(xiàn)實世界中通過音源的振動，使水、粉末、火焰等產(chǎn)生不同的形狀，也可以作為三維的一種拓展；

R Taylor[4]等人采用虛擬現(xiàn)實實時系統(tǒng)對音樂家演奏的音樂特征進行提取，并映射到虛擬角色的行為中，給人以沉浸感。

還有一些較為特殊的表達方式——使用形容詞對音樂中的情感檢測結(jié)果進行表達，將音頻與人心理感受相似的色彩名稱、情緒名稱進行分類及匹配。采用能夠引起類似情緒的圖片來標志音頻，也是一種創(chuàng)新。

4 音樂可視化研究面臨的挑戰(zhàn)

音樂可視化還處于初期階段，在研究和應(yīng)用領(lǐng)域都面臨許多問題，在對音樂的理解和可視化技術(shù)上都需要進一步的研究，才能使音樂可視化更好地發(fā)展。

4.1 缺少專業(yè)知識

從對音樂的研究方面，音樂可視化的研究人員可能對音樂的專業(yè)知識，如音樂學(xué)、音樂認知神經(jīng)科學(xué)、音樂心理學(xué)等，并沒有足夠的認知，因此在可視化系統(tǒng)的設(shè)計與制作中，缺乏專業(yè)知識的依托而無法準確捕捉要點。

4.2 模式單一

現(xiàn)有的音樂可視化系統(tǒng)分析的內(nèi)容，對簡單的低層的音樂屬性尚能進行多維體現(xiàn)，但對于語義、情感等高層屬性則只能研究到一維且是靜態(tài)的地步。

4.3 應(yīng)用型可視化系統(tǒng)忽視用戶情感體驗

目前很多設(shè)計出來供人在聽音樂的過程中加入視覺體驗的可視化系統(tǒng)，是研究人員通過自身對音樂的了解得到的，不同的人對音樂的理解的深度并不相同。另外，部分研究人員對系統(tǒng)設(shè)計的完備程度、新鮮程度等的重視程度，超過了刺激使用者內(nèi)在情感潛能的重視程度，此兩點導(dǎo)致部分可視化系統(tǒng)對于使用者來說是毫無意義的，使用者并不能從中感受到音樂的涵義變得具體或深刻。

5 結(jié)語

音樂可視化有別于傳統(tǒng)音樂藝術(shù)，開啟了音樂解讀的新時期，是對音樂的描述和理解的新方式。國內(nèi)外對音樂可視化的理論研究和系統(tǒng)、工具開發(fā)都有了很多成果，在音樂分析、音樂教學(xué)、游戲娛樂、情感表達等方面具有應(yīng)用。目前對音樂可視化的研究仍舊面臨挑戰(zhàn)，期待隨著科技的發(fā)展和理論應(yīng)用不斷完善，音樂可視化能夠在形式和內(nèi)涵上更加豐富，應(yīng)用更加全面。

【參考文獻】

[1]Knowledge Visualization Currents：From Text to Art to Culture | Clc[J].

[2]Zhang S，Huang Q，Jiang S，et al.Affective Visualization and Retrieval for Music Video[J].IEEE Transactions on Multimedia， 2010，12（6）：510-522.

[3]Pampalk E，Rauber A，Merkl D.Content-based organization and visualization of music archives[C]//Tenth ACM International Conference on Multimedia.ACM，2002：570-579.

[4]Taylor R，Torres D，Boulanger P.Using music to interact with a virtual character[C]// Conference on New Interfaces for Musical Expression.National University of Singapore，2005：220-223.