柳茗千

摘要：本文所介紹的可視化方法的成功之處既在于其優(yōu)美的藝術(shù)設(shè)計(jì)，更在于其通過(guò)將音樂(lè)轉(zhuǎn)換為圖形從而使聽(tīng)障兒童也能通過(guò)觀察圖形對(duì)音樂(lè)產(chǎn)生新的理解，并使用圖像處理技術(shù)進(jìn)一步對(duì)音樂(lè)進(jìn)行對(duì)比分析。

關(guān)鍵詞：音頻可視化；數(shù)字圖像處理；聽(tīng)障學(xué)生教育

中圖分類號(hào)：G760 文獻(xiàn)標(biāo)志碼：A 文章編號(hào)：1674-9324（2017）01-0275-02

一、可視化技術(shù)在音頻方面的應(yīng)用

1.音頻可視化的定義和常見(jiàn)形式。隨著數(shù)字媒體技術(shù)的興起，我們能將日常生活中所接觸到的信息以更加清楚直觀、更具藝術(shù)性的方式展現(xiàn)出來(lái)。音樂(lè)可視化是指一種以視覺(jué)為核心，以音樂(lè)為載體，以大眾為訴求對(duì)象，借助多種新媒體技術(shù)等傳播媒介，通過(guò)畫面、影像來(lái)詮釋音樂(lè)內(nèi)容的、視聽(tīng)結(jié)合的大眾化傳播方式。它能為理解、分析和比較音樂(lè)藝術(shù)作品形態(tài)的表現(xiàn)力和內(nèi)外部結(jié)構(gòu)提供一種直觀視覺(jué)呈現(xiàn)的技術(shù)。盡管聽(tīng)障人士不能像我們一樣聆聽(tīng)音樂(lè)，但音樂(lè)傳達(dá)出的數(shù)據(jù)之美卻能轉(zhuǎn)化為圖形，同樣為聽(tīng)障人士所享受。

傳統(tǒng)的方式常用頻譜圖或波形圖進(jìn)行音樂(lè)可視化。音樂(lè)的頻譜圖是指某一單音信號(hào)（即瞬間聲音的聲波）通過(guò)物理方式的轉(zhuǎn)換，獲得的以振幅（即音量的大?。榭v軸，頻率為橫軸的頻率成分分布的圖像。[3]頻譜只能表現(xiàn)瞬間的頻率震動(dòng)，不能對(duì)整首歌曲進(jìn)行宏觀的把握。多數(shù)音頻可視化也都是采用類似的方式對(duì)每個(gè)時(shí)間片采樣到的數(shù)據(jù)進(jìn)行可視化，并以更加藝術(shù)化的方式呈現(xiàn)出來(lái)，其關(guān)聯(lián)的數(shù)據(jù)都是頻譜。音頻處理軟件中使用的音頻波形圖也是一種音樂(lè)可視化，它能讓人一目了然的對(duì)整個(gè)音頻的走勢(shì)和特征有大體的掌握，但更適用于數(shù)據(jù)處理和分析，缺少動(dòng)感和觀賞性。

2.音頻可視化對(duì)于聽(tīng)障兒童音樂(lè)教育的重要意義。音樂(lè)教育對(duì)于特殊兒童非常必要，它的目的不僅是彌補(bǔ)特殊兒童聽(tīng)說(shuō)能力的缺失，更在于通過(guò)音樂(lè)欣賞嘗試體會(huì)正常人能感受到的美好，增強(qiáng)自信和表達(dá)、理解能力，釋放不良情緒，改變孤獨(dú)、自閉的行為方式。[2]音樂(lè)活動(dòng)能使他們?cè)谟淇斓男那橄峦鼌s自己的缺陷，主動(dòng)與他人合作、交流，提升兒童的感知能力、認(rèn)知能力、記憶力、思維能力、想象力和創(chuàng)造力等方面，促進(jìn)身心和諧發(fā)展。[4]

聽(tīng)障兒童不能直觀的感受音樂(lè)，通常利用“通感”（使感覺(jué)轉(zhuǎn)移，將人的聽(tīng)覺(jué)、視覺(jué)、嗅覺(jué)、味覺(jué)、觸覺(jué)等感覺(jué)相交換，將甲感覺(jué)用于表示乙感覺(jué)）的形式將音樂(lè)帶給正常人的感受以另外一種形式表現(xiàn)出來(lái)，對(duì)聽(tīng)障兒童進(jìn)行音樂(lè)教學(xué)?，F(xiàn)在常見(jiàn)的聽(tīng)障兒童音樂(lè)教學(xué)法有通過(guò)感受物體振動(dòng)傳達(dá)節(jié)奏概念的“律動(dòng)教學(xué)”、通過(guò)手語(yǔ)歌詞理解音樂(lè)內(nèi)容、結(jié)合律動(dòng)教學(xué)練習(xí)舞蹈的音樂(lè)教育等等。越來(lái)越多的“別樣形式的音樂(lè)”正幫助聽(tīng)障兒童更好地認(rèn)識(shí)音樂(lè)，感受音樂(lè)。

二、一種新的音樂(lè)可視化實(shí)現(xiàn)方法

1.用Web Audio Api提取音頻信息并進(jìn)行可視化。本文介紹的方法基于Web Audio Api，獲取音頻數(shù)據(jù)的方法是用audio標(biāo)簽將音樂(lè)嵌入網(wǎng)頁(yè)，并設(shè)置analysernode（分析節(jié)點(diǎn)）對(duì)網(wǎng)頁(yè)上的音頻數(shù)據(jù)進(jìn)行實(shí)時(shí)解析。Canvas實(shí)時(shí)繪制每個(gè)時(shí)間片的采樣數(shù)據(jù)，觀察者既能經(jīng)歷圖形創(chuàng)建的過(guò)程，又能在歌曲結(jié)束之后對(duì)整首歌有宏觀上的體會(huì)和把握。

圖2.1所示的可視化用一個(gè)正十邊形的雷達(dá)圖將音頻的頻域由高到低分成十個(gè)部分，并將音頻數(shù)據(jù)映射到其中，反應(yīng)每個(gè)部分的能量大小，數(shù)字標(biāo)號(hào)示意了由低頻到高頻的排列順序。繪圖點(diǎn)距離原點(diǎn)距離越遠(yuǎn)表示該分段能量越大。這種可視化方法利用了不同音源發(fā)聲頻率不同的原理，后面的分析與比對(duì)也將基于這樣的數(shù)據(jù)提取。圖2.2展示了其中兩個(gè)在網(wǎng)頁(yè)中將雷達(dá)圖放在藝術(shù)場(chǎng)景中進(jìn)行觀賞的情形。將繪制路徑顏色與背景相搭配，在播放音樂(lè)的同時(shí)進(jìn)行繪畫，這何嘗不是一種藝術(shù)創(chuàng)作呢？通過(guò)在精心制作的場(chǎng)景中觀察圖形的變化，聽(tīng)障兒童可以感受到音樂(lè)的律動(dòng)，并根據(jù)圖形的意義體會(huì)音樂(lè)內(nèi)容。

圖2.3所示的可視化是對(duì)當(dāng)前時(shí)刻的頻率進(jìn)行采集、計(jì)算并以順時(shí)針掃描的方式繪制。每個(gè)瞬間在畫布上留下的痕跡拼湊起來(lái)可以像拼圖一樣展示出一幅比較完整的畫卷?！吨凵焦臉?lè)》是一首只有鼓聲參與其中的音樂(lè)，由于其聲音的不連續(xù)性，造成多個(gè)連續(xù)的峰，每一聲鼓點(diǎn)的可視化結(jié)果都如一個(gè)花瓣般非常美麗。聽(tīng)障兒童據(jù)此可以體會(huì)到音樂(lè)的美好，彌補(bǔ)身體上的缺憾。

2.以C++為基礎(chǔ)用MFC比對(duì)獲取的圖片信息。分析用數(shù)據(jù)采用了圖2.1所示的雷達(dá)圖。由于每一幀的繪圖結(jié)果都疊加在一起，為了對(duì)能量大小做加成平均得到平均路徑，繪圖時(shí)設(shè)置了透明度。計(jì)算時(shí)由中心點(diǎn)沿著分段的分界線發(fā)出十條射線，將黑色的深淺作為加成的權(quán)重。得到平均路徑后即可將兩首歌進(jìn)行比對(duì)（如圖2.4-2.5所示），同一首歌的兩個(gè)版本差異最小，同一位歌手風(fēng)格相近的歌曲其次，而風(fēng)格、內(nèi)容相差較大的兩首歌很有可能在不同的頻段各有發(fā)揮，如純音樂(lè)能量較小，主要集中在中低頻，而熱情奔放的流行樂(lè)和電子樂(lè)在低頻和高頻部分都大有作為。

3.建立音頻數(shù)據(jù)庫(kù)對(duì)音頻內(nèi)容進(jìn)行推測(cè)。目前有很多音樂(lè)檢索的方式，包括基于音頻分析和索引的內(nèi)容檢索法、基于情感語(yǔ)義相似度的音樂(lè)檢索、基于歌曲屬性關(guān)鍵字的文本匹配法等。[1]這些方法通過(guò)提取歌曲中的聲學(xué)特征，基于音頻內(nèi)容對(duì)音樂(lè)進(jìn)行分類和檢索，這說(shuō)明歌曲中的情感和語(yǔ)義是可以由科學(xué)的方法分析出來(lái)的?；谶@個(gè)原理，本文用人工標(biāo)注法構(gòu)造音頻數(shù)據(jù)庫(kù)，將不同頻段的能量大小作為區(qū)分不同類型音樂(lè)的識(shí)別特征。將同一標(biāo)簽的多首樂(lè)曲數(shù)據(jù)進(jìn)行平均以達(dá)到訓(xùn)練的目的。圖2.6展示了此方法的初步實(shí)驗(yàn)結(jié)果。

三、對(duì)相關(guān)方向發(fā)展的展望

本文所介紹的方法優(yōu)點(diǎn)在于新穎獨(dú)創(chuàng)，有藝術(shù)性，缺點(diǎn)在于提取數(shù)據(jù)麻煩，人工參與部分多，數(shù)據(jù)庫(kù)太小，因此準(zhǔn)確性尚且較差。目前對(duì)于音樂(lè)內(nèi)容的提取及可視化研究還比較少，但“聽(tīng)歌識(shí)曲”，“哼唱搜索”等基于音頻內(nèi)容分析的音樂(lè)檢索已經(jīng)越來(lái)越多的出現(xiàn)在音樂(lè)軟件中。相信未來(lái)從音頻中提取更多信息的技術(shù)一定大有所為。筆者作為本科三年級(jí)學(xué)生，學(xué)識(shí)和技巧實(shí)在有限，但希望本文提出的觀點(diǎn)能夠拋磚引玉，引發(fā)更多學(xué)者和專業(yè)人士對(duì)聽(tīng)障兒童音樂(lè)教育的思考和認(rèn)識(shí)，不斷完善相關(guān)領(lǐng)域的研究，為聽(tīng)障兒童帶去福音。

參考文獻(xiàn)：

[1]周利娟.基于情感語(yǔ)義相似度的音樂(lè)檢索模型研究[D].大連：大連理工大學(xué)，2011.

[2]孟妍妍.淺論聾啞兒童音樂(lè)教育[J].研究生論壇，2009，（11）：80-81.

[3]成蒙.從音樂(lè)到圖形——音樂(lè)信息的可視化研究[D].西安：西安美術(shù)學(xué)院，2014.

[4]吳躍躍李平平喻秋蘭.特殊兒童音樂(lè)教育的性質(zhì)、特點(diǎn)及教育價(jià)值[J].中國(guó)音樂(lè)教育，2008，（11）.

Visualization Method Aid Music Education in Hearing-Impaired Children

LIU Ming-qian

（School of Information Science&Technology of BJFU （Beijing Forestry University），BeiJing 100083，China）

Abstract：As described in this article，the success of this visualization method lies in both its beautiful art design，and more in its convertion of music into graphics so that hearing impaired children can reach a new understanding of music by simply observing the graphics.This article also introduced how to use digital image processing technology to step forward on comparing and analyzing the difference between music.

Key words：music visualization；digital image processing；Hearing-Impaired student education