陶雨琦 上海工程技術(shù)大學(xué) 上海 201680

一、簡介

（一）項目背景及作品創(chuàng)意

眾所周知，聲音是由振動產(chǎn)生的。在傳統(tǒng)意義上，音樂屬于耳朵，是用聽覺體驗美感的藝術(shù)。人們在欣賞音樂時，往往是在傾聽的基礎(chǔ)上，通過“音響感知與情緒感受”“形象聯(lián)想與理性感悟”以及“音樂美的體驗與感悟”等階段，完成對音樂作品由感性到理性的審美體驗過程。音樂具有形象思維的特點，在情感的伴隨下，通過想象聯(lián)想，獲得音樂形象、生活情景以及意境等形象，音樂可視化變?yōu)楝F(xiàn)實。

我們計劃塑造一個能將音樂可視化的產(chǎn)品，以更好地呈現(xiàn)音樂所帶來的情緒。同時，我們期望這款產(chǎn)品在未來的迭代過程中，實現(xiàn)能夠幫助聽障人士感受音樂的功能。

（二）作品功能

第一部分的作品包括My Song和麥克風(fēng)輸入。這兩者都是將音頻進(jìn)行圖像化處理的程序，這兩者是根據(jù)音頻的振幅變化來生成圖像，所以使用Processing自身創(chuàng)建amplitude對象。第二部分的作品包括鍵盤鋼琴與電子琴，這一部分的作品是對于圖像音頻化的詮釋。其中，電子琴一共有32個鍵位，鍵盤上的三排字母都可以成為按鍵。最低音是G3最高音到D8，因為G3是揚聲器所能發(fā)出的最低音；而最高音則是受限于鍵盤數(shù)所以只排到D8，實際最高音未知。電子琴的琴音是電腦自生成音，與鋼琴不同，不需要data文件夾來添加音頻文件。

圖1 系統(tǒng)功能框架圖

（三）系統(tǒng)開發(fā)平臺

開發(fā)工具與編程語言：Processing；源碼支持環(huán)境：Windows/Linux/MacOS，需在Processing Development Environment-processing.exe中運行；開發(fā)使用的庫文件：Minim 2.2.2，Sound 2.2.3；音樂、視覺效果均為團(tuán)隊原創(chuàng)，使用工具有：Adobe Illustrator，Adobe Photoshop，庫樂隊，Adobe Audition。

（四）作品特色

第一部分的作品包括My Song和麥克風(fēng)輸入。這兩者都是將音頻進(jìn)行圖像化處理的程序，在使用方面，如果想要套入使用的音頻格式不是mp3，則需要去源碼中找到XXX=new SoundFile（this,”Xxx.mp3”)這一行，將雙引號中的文件名與格式改成想要播放的音頻文件。如果還是無法播放則降低音頻質(zhì)量，因為受Processing自身頻譜分析限制，無法分析過高質(zhì)量音頻。麥克風(fēng)輸入則如其字面意思一般，通過輸入、捕捉外界聲音，利用minim庫來分析音頻，進(jìn)而生成圖案變化——聲音越低沉波動越平緩，音調(diào)越高則波動越劇烈。

第二部分的作品包括鍵盤鋼琴與電子琴，這一部分的作品是對于圖像音頻化的詮釋。琴音是根據(jù)每個鍵位輸入的每個音所代表的頻率來產(chǎn)生的。在編程時考慮的聽眾感受，采用的是體感最舒適的矩形波所生成的電子音。當(dāng)然，也可以通過將源碼第三行第一個單詞改成SinOsc、SawOsc、TriOsc或Pulse來分別用正弦波、鋸齒波、三角波或脈沖波形成音頻。另外，電子琴在彈奏的時候屏幕隨機出現(xiàn)會變化顏色的矩形，這些顏色變化是根據(jù)音頻頻率變化而產(chǎn)生的。

二、多媒體系統(tǒng)詳細(xì)設(shè)計

根據(jù)作品類別任選一類（可包含但不限于下列內(nèi)容）。

構(gòu)想（創(chuàng)意）：我們作品的設(shè)計方向是圍繞著“圖像”與“音頻”這兩個概念展開的。其背后想法就是將“圖像”可聽化以及將“音頻”可視化。

交互規(guī)則：我們參考了諸多樂器與麥克風(fēng)的聲音呈現(xiàn)方式，探索視覺、觸覺對聽覺具象化的可能性。

視覺藝術(shù)：采用Adobe Illustrator、Adobe Photoshop設(shè)計樣稿，在Processing中通過編程實現(xiàn)樣稿的可視化效果。

程序系統(tǒng)設(shè)計與編程（參考非媒體類的系統(tǒng)結(jié)構(gòu)設(shè)計與數(shù)據(jù)庫結(jié)構(gòu)設(shè)計）：

全部使用Processing開發(fā)完成，調(diào)用的庫文件有：Minim 2.2.2，Sound 2.2.3。

美術(shù)、聲效：團(tuán)隊成員使用鋼琴、架子鼓錄制基礎(chǔ)音頻，在庫樂隊，Adobe Audition中進(jìn)行優(yōu)化處理。

編劇、角色、道具、場景：本作品中不涉及任何人物角色、道具與場景。

界面設(shè)計：由Processing封裝的基礎(chǔ)可視化界面。

三、系統(tǒng)安裝及使用說明

Processing項目是Java開發(fā)的，天生就具有跨平臺的特點，同時支持Linux、Windows以及Mac OSX三大平臺，并且支持將圖像導(dǎo)出成各種格式。對于動態(tài)應(yīng)用程序，甚至可以將 Processing 應(yīng)用程序作為 Java? applet 導(dǎo)出以用在 Web 環(huán)境內(nèi)。當(dāng)然，為了降低設(shè)計師的學(xué)習(xí)門檻，用Processing進(jìn)行圖形設(shè)計的編程語言并不是Java，而是重新開發(fā)了一門類C的編程語言，這也讓非計算機科班出身的設(shè)計師很容易上手。

（一）構(gòu)建Processing環(huán)境

第一步是安裝Processing環(huán)境。去Processing.org（https://processing.org/download/），單擊Download Processing 并選擇您的操作系統(tǒng)。此外，還需要確保Java技術(shù)已經(jīng)可用。在windows上，下載解壓后直接運行processing.exe即可。這應(yīng)該會彈出Processing Development Environment（PDE 或 Processing IDE）。占此窗口較大的部分是文本編輯器。如果輸入圖中所示的兩行代碼，然后單擊Run（左上角的三角形），出現(xiàn)一個窗口，顯示您所輸入的簡單程序（或Processing術(shù)語所指的sketch）的結(jié)果。單擊Stop（左上角的方框）退出程序，窗口消失。

（二）安裝程序調(diào)用的庫文件

在速寫本-引用庫文件-添加庫文件中搜索并安裝Minim 2.2.2，Sound 2.2.3。

圖2 搜索并安裝庫文件

四、結(jié)語

我們作品的設(shè)計方向是圍繞著“圖像”與“音頻”這兩個概念展開的。其背后想法就是將“圖像”可聽化以及將“音頻”可視化。本作品采用視覺、觸覺等方式，令每一位體驗者充分動用五感，感受音樂的魅力，其采用的交互效果也是音樂行業(yè)值得參考的。

我們期待這款產(chǎn)品在未來的迭代過程中能夠通過可視化的形式幫助聽障人士認(rèn)識、理解音樂。