郭亦君

[摘 要]

音樂與影像的結(jié)合被稱為音樂可視化藝術(shù)，是新時(shí)代藝術(shù)發(fā)展下的突出表現(xiàn)。本文將根據(jù)音樂藝術(shù)與影像藝術(shù)的融合，對(duì)音樂可視化發(fā)展及用途進(jìn)行探討。

[關(guān)鍵詞]音樂藝術(shù);影像藝術(shù);音樂可視化藝術(shù);發(fā)展

[中圖分類號(hào)]J605 [文獻(xiàn)標(biāo)識(shí)碼]A [文章編號(hào)] 1007-2233（2019）08-0165-02

音樂給予人的感官聯(lián)想是通過(guò)耳朵進(jìn)行的，即明確了音樂是以聲音作為基礎(chǔ)發(fā)展的藝術(shù)形式，通過(guò)優(yōu)美的旋律給予人聽覺美感，讓社會(huì)生活通過(guò)音樂藝術(shù)，以更加美好的形式展現(xiàn)出來(lái)。[1]影像給予人感官聯(lián)想是通過(guò)眼睛進(jìn)行的，用我們的眼睛去觀看表演，用耳朵去聆聽表演，才能成為完美的藝術(shù)，而音樂可視化藝術(shù)則是將兩者充分融合，給予人們?nèi)碌穆犛X及視覺感受。

一、音樂可視化概念

音樂可視化是信息時(shí)代下，眾多可視化信息的其中之一，可將其看作是音樂的一種表達(dá)、展現(xiàn)方式。音樂可視化藝術(shù)的呈現(xiàn)是以視覺為核心力量，配以音樂，通過(guò)多種表現(xiàn)方式，滿足人們對(duì)音樂的更多訴求，是信息時(shí)代中的新型文化傳播方式。音樂可視化藝術(shù)能夠以音樂作品表現(xiàn)力結(jié)合外部結(jié)構(gòu)，以智能理解、分析、比較的方式給予大眾最直觀感受的一種技術(shù)。

音樂可視化是信息時(shí)代的跨領(lǐng)域新藝術(shù)形態(tài)，其中不僅僅是音樂、影像的簡(jiǎn)單結(jié)合，而是數(shù)字音頻、動(dòng)畫、圖像處理、虛擬現(xiàn)實(shí)、聲學(xué)、美學(xué)等領(lǐng)域的結(jié)合。音樂可視化是通過(guò)提取音樂特征，將其映射至相應(yīng)媒介上，形成可視化效果，再將其進(jìn)行整理，變?yōu)橐曈X體現(xiàn)。根據(jù)視覺體現(xiàn)提取進(jìn)行分析后發(fā)現(xiàn)，目前提取音樂尚在低層特征，Windows Media Player便是目前的可視化音樂代表，還有Winamp內(nèi)含插件Milkdrop也可以幫助編碼，改變影像內(nèi)的圖像形狀、顏色、位置、尺寸等實(shí)現(xiàn)音樂可視化。[2]

音樂可視化過(guò)程中，必須使用的技術(shù)有：音樂信息提取、影像圖像生成、綜合主觀評(píng)價(jià)。音樂信息提取技術(shù)主要是識(shí)別并提取音樂中的高音及節(jié)奏信息;影像圖像生成技術(shù)主要是為了幫助音樂具象化，讓音樂表現(xiàn)方式更加直觀;綜合主觀評(píng)價(jià)技術(shù)則是對(duì)以上所有操作的可視化結(jié)果進(jìn)行評(píng)價(jià)，用于幫助音樂可視化作品更加完整統(tǒng)一，聲樂藝術(shù)更加和諧。如果制作可視化音樂錄音和擴(kuò)聲要求較高，則必須結(jié)合作品內(nèi)容、演奏特點(diǎn)、設(shè)備混響等來(lái)確定音樂立體感，不能僅僅使用人工混響來(lái)完成整個(gè)作品。

二、音樂可視化分類

（一）交互性

對(duì)音樂可視化進(jìn)行交互性分類，可將其分為兩類：交互式可視化、非交互式可視化。[3]在計(jì)算機(jī)播放多媒體程序時(shí)，編程人員可直接對(duì)此程序發(fā)出指令，而不是任由程序自行發(fā)展，編程人員必須在程序運(yùn)行過(guò)程中對(duì)下發(fā)指令做出反應(yīng)，實(shí)現(xiàn)交互可視化。

（二）實(shí)時(shí)性

實(shí)時(shí)性可視化是要在規(guī)定時(shí)間內(nèi)對(duì)系統(tǒng)指令進(jìn)行反應(yīng)。實(shí)時(shí)性可視化分為兩類：軟實(shí)時(shí)、硬實(shí)時(shí)。兩者之間的差異化在于軟實(shí)時(shí)只能在提供統(tǒng)計(jì)意義時(shí)實(shí)現(xiàn)實(shí)時(shí)性可視化。比如：在應(yīng)用要求系統(tǒng)95%的情況下，可在規(guī)定時(shí)間內(nèi)對(duì)指令進(jìn)行反應(yīng)，并不一定要100%完成。因?yàn)椋袝r(shí)只需要完成98%的播放就能滿足用戶，但是基于發(fā)射衛(wèi)星、控制核反應(yīng)堆應(yīng)用系統(tǒng)100%的要求，就必須利用軟實(shí)時(shí)系統(tǒng)完成音樂可視化過(guò)程。

（三）維數(shù)

根據(jù)目前影視化發(fā)展方向分析，二維逐漸走向淘汰階段，三維正在慢慢走入市場(chǎng)，給人們提供更加真實(shí)、獨(dú)特的視覺效果。

（四）體驗(yàn)感

體驗(yàn)感是根據(jù)用戶沉浸指數(shù)來(lái)分析的，可根據(jù)沉浸度指數(shù)將其分為三種類型：完全沉浸式、半沉浸式、非沉浸式。根據(jù)用戶精神沉浸度，分析用戶對(duì)音樂可視化的體驗(yàn)感。

（五）音頻數(shù)據(jù)類型

根據(jù)MPEG4音頻數(shù)據(jù)可視化標(biāo)準(zhǔn)，可將其分為兩種：自然音頻、結(jié)構(gòu)性音頻。而自然音頻可分為一般音頻和語(yǔ)音形態(tài)，比如：MP3、其他數(shù)據(jù)壓縮音頻;結(jié)構(gòu)性音頻是由多種不同指令的結(jié)合而形成的，主要是指MIDI，可對(duì)音頻特征進(jìn)行明確提取，十分便捷。[4]

三、音樂可視化研究進(jìn)展

（一）音樂特征提取

自然音頻與結(jié)構(gòu)性音頻提取方式、方法皆有不同，自然音頻主要是對(duì)WAV、MP3等格式音頻內(nèi)容進(jìn)行特征提取分析，但為了自然音頻提取更為便捷，需要在提取前，預(yù)先對(duì)原始音頻數(shù)據(jù)進(jìn)行處理，目前已有的處理方式是傅里葉分析變換法、固定窗口變換法，利用以上兩種方法即可對(duì)音頻數(shù)據(jù)特征進(jìn)行提取轉(zhuǎn)換處理。而結(jié)構(gòu)性音頻只須根據(jù)格式規(guī)則轉(zhuǎn)換就可提取音頻數(shù)據(jù)特征，原因是此類音頻數(shù)據(jù)皆是由具體指令組合成的控制聲卡發(fā)音，就可以非常容易地找到關(guān)于音頻特征的相關(guān)信息，進(jìn)行提取。

在《波形音樂文件特征提取方法的研究》中，有對(duì)音樂特征進(jìn)行分類，分別是：基本音樂特征、復(fù)雜音樂特征、整體音樂特征。基本音樂特征中有音色高低、音階長(zhǎng)短、音浪強(qiáng)弱;復(fù)雜音樂特征提取需要依靠基礎(chǔ)音樂特征，然后其中還包含音程、音樂節(jié)奏、音樂旋律;整體音樂特征則須依靠以上兩種音樂特征作為基礎(chǔ)分析音樂情感、曲風(fēng)、內(nèi)容等。首先提取一種音符，這樣可幫助后續(xù)音符提取提高準(zhǔn)確率;通過(guò)對(duì)WAV格式提供的音樂文件進(jìn)行分析，便可獲取音樂樣本數(shù)據(jù)信息;獲取信號(hào)包絡(luò)線時(shí)，須提前對(duì)信號(hào)進(jìn)行壓縮、去噪、高斯低通濾波處理，提高獲取信號(hào)準(zhǔn)確度;然后即可利用傅立葉轉(zhuǎn)換對(duì)包絡(luò)線信號(hào)峰值進(jìn)行檢驗(yàn)，直接提取出音樂中所含音符;接下來(lái)利用劃分小節(jié)的設(shè)計(jì)方法直接對(duì)音符音色高低、音階長(zhǎng)短、音浪強(qiáng)弱進(jìn)行特征提取分析;然后根據(jù)劃分小節(jié)在音樂信號(hào)中展現(xiàn)的樂理特征進(jìn)行設(shè)計(jì)，以加窗移動(dòng)匹配方式直接提取出小節(jié)線;對(duì)小節(jié)線進(jìn)行小節(jié)分析，獲取整個(gè)小節(jié)線的音色高低、音階長(zhǎng)短、音浪強(qiáng)弱平均值及穩(wěn)定性，完成整個(gè)提取自然音頻特征的過(guò)程。[5]

在《波形音樂文件特征提取方法的研究》中，結(jié)構(gòu)性音頻特征提取則主要以早期的MIDI格式為主，直接從已有音樂文件內(nèi)獲取音符和小節(jié)，完成對(duì)音頻特征的提取工作，由此可以知道對(duì)音樂特征的提取研究方向，應(yīng)該主要放在情感特征識(shí)別上。

（二）情感檢測(cè)和情感表達(dá)

音樂歷來(lái)被稱為情感的表達(dá)，聽眾可從音樂中感受美好、傷心、開心、歡快等不同的情緒，所以表面情感表現(xiàn)在音樂中極其重要，甚至于影響音樂創(chuàng)作人的音樂創(chuàng)作思路。

在《音樂情感的特征與識(shí)別》中提到了音樂情感色彩提取及分析可利用多元分析法，利用多元分析法只須將測(cè)試音樂表現(xiàn)情感由舒緩到激昂進(jìn)行分類即可，然后利用數(shù)字信號(hào)處理技術(shù)，從多個(gè)方向?qū)σ魳诽卣鬟M(jìn)行探討，讓計(jì)算機(jī)擁有人類的體驗(yàn)感，能夠明確識(shí)別音樂所含情感類型。

中國(guó)音樂學(xué)院音樂科技系師生曾對(duì)民族樂器進(jìn)行聽覺實(shí)驗(yàn)，目的是為了分析民族樂器屬性，然后對(duì)樂器表達(dá)情感進(jìn)行準(zhǔn)確的詞語(yǔ)描述，并將每種評(píng)價(jià)對(duì)象規(guī)定在一種范圍內(nèi)進(jìn)行綜合評(píng)價(jià)，然后通過(guò)每個(gè)評(píng)價(jià)人對(duì)評(píng)價(jià)對(duì)象的分類建議進(jìn)行綜合統(tǒng)計(jì)，以百分制為標(biāo)準(zhǔn)確定每種評(píng)價(jià)對(duì)象的數(shù)據(jù)結(jié)果，確定評(píng)價(jià)對(duì)象的情感屬性。[6]這次實(shí)驗(yàn)對(duì)于音樂情感特征識(shí)別極具意義，讓民族樂器的未來(lái)發(fā)展有了較為準(zhǔn)確的定位。

音樂由多種不同音符組合而成，每個(gè)音符皆有不同特征，但卻無(wú)法表現(xiàn)出準(zhǔn)確的情感，還是需要單個(gè)音符組合成為音樂，才能滿足大眾的音樂需求，進(jìn)行情感的傳達(dá)。組合音符傳達(dá)情感過(guò)程中，還須通過(guò)每個(gè)音符發(fā)音長(zhǎng)短、音階高低、旋律速度、調(diào)試方法等，才能充分展現(xiàn)音樂情感。

（三）虛擬現(xiàn)實(shí)

信息時(shí)代來(lái)臨，各行業(yè)結(jié)構(gòu)都得以轉(zhuǎn)型，尤其是虛擬技術(shù)讓音樂行業(yè)更加智能化，在虛擬技術(shù)支持下，音樂事業(yè)迎來(lái)高峰，讓音樂可視化藝術(shù)越發(fā)成熟，更具有感染力。虛擬技術(shù)可視化音樂展現(xiàn)方式是通過(guò)探夢(mèng)館得到的啟發(fā)，探夢(mèng)館是由弗蘭克·奧本海默創(chuàng)建的，原名為舊金山探索館，將一座古建筑建設(shè)為集視覺、聽覺、觸覺為一體的多種感官體驗(yàn)，并帶有互動(dòng)模式的科學(xué)探索館。[7]這個(gè)探索館于1969年建成，為后來(lái)的博物館研究及音樂可視化藝術(shù)帶來(lái)極其重要的研究意義，這個(gè)探索館會(huì)定期更換探險(xiǎn)互動(dòng)主題，主要是音樂與樂器的發(fā)展歷程，給美國(guó)音樂和樂器的發(fā)展史添上了濃墨重彩的一筆，也讓音樂可視化形成了初期模型，通過(guò)讓表演者深處虛擬空間的一種方式，在美國(guó)流行開來(lái)。虛擬技術(shù)讓音樂可視化作品擁有極強(qiáng)的感染力，讓身處其中的表演者及聽眾更能深入其中，是音樂可視化發(fā)展中不可缺少的技術(shù)。

四、音樂可視化的用途

音樂可視化藝術(shù)可運(yùn)用至多領(lǐng)域，比如：酒吧、演唱會(huì)、音樂節(jié)、電子音樂表演等，利用LED屏幕圖像變化與音樂結(jié)合后呈現(xiàn)出不同場(chǎng)景，強(qiáng)烈的視覺沖擊讓觀眾身臨其境。[8]比如，跳舞的線，音樂與游戲結(jié)合既能提高娛樂性，又能增加游戲的可玩性，讓玩家充分體驗(yàn)音樂及游戲帶來(lái)的愉悅。比如：在教育中可通過(guò)音樂可視化輔導(dǎo)有聽力障礙的兒童學(xué)習(xí)音樂，彌補(bǔ)聽力障礙兒童的聽力缺失，同時(shí)讓聽力障礙兒童更好地體驗(yàn)豐富多彩的生活，在音樂可視化中提升自我表達(dá)能力，釋放自身不良情緒等，還可對(duì)自閉兒童進(jìn)行開導(dǎo)等，都是音樂可視化對(duì)人們生活帶來(lái)的改變。

結(jié) 語(yǔ)

隨著時(shí)代經(jīng)濟(jì)的不斷進(jìn)步發(fā)展，藝術(shù)成為人們追求生活品質(zhì)的一種方式，而音樂藝術(shù)則是最容易實(shí)現(xiàn)、最具感染力的一種，音樂可視化藝術(shù)則滿足了人們雙重感官體驗(yàn)，從視覺及聽覺上提升人們的音樂融入感，讓音樂有了多種表達(dá)方式，且能滿足娛樂、情感體驗(yàn)、教育等多種要求，實(shí)現(xiàn)人們對(duì)音樂的美好向往。