張屹南

同濟(jì)大學(xué)，上海200030

一、引言

二、音樂可視化設(shè)計中的多通道映射模式研究

1.音樂可視化設(shè)計中的視聽映射

（1）音樂可視化設(shè)計的概念與應(yīng)用。音樂可視化設(shè)計的應(yīng)用領(lǐng)域較為寬泛，在視覺研究、聲音研究、表演與展示、交互設(shè)計、音樂軟件界面設(shè)計、游戲設(shè)計等方面均有重要的理論與應(yīng)用價值。瓦西里·康定斯基（Wassily Kandinsky）是研究繪畫中的音樂特性的代表人物。康定斯基由繪畫語言的分析入手，提出了繪畫中的“內(nèi)在聲音”（Inner Sound）這一概念[1]。而在現(xiàn)代視覺設(shè)計領(lǐng)域，音樂可視化屬于信息可視化的范疇。由于音樂是一種特殊的聲音信息，如何將這種信息以視覺圖形圖像形式進(jìn)行呈現(xiàn)以準(zhǔn)確演繹出音樂獨(dú)有的特征，是研究的關(guān)鍵所在。音樂可視化設(shè)計通過藝術(shù)與技術(shù)的融合以增強(qiáng)人類的視聽感官體驗(yàn)，是一門與時俱進(jìn)的學(xué)科。如今設(shè)計師們不再一味地追求娛樂體驗(yàn)，而是從音樂信號的內(nèi)部結(jié)構(gòu)開始分析，使得作品像是連接視覺表達(dá)與音樂符號的橋梁，使生澀的音樂波形圖變得生動有趣起來[2]。

在當(dāng)代舞臺演出中，用現(xiàn)場影像或動畫來伴隨音樂進(jìn)行可視化藝術(shù)表現(xiàn)能創(chuàng)造出綜合視聽媒介。在20世紀(jì)70年代誕生了“VJ”這一名詞，用以稱呼那些專在聚會、主題活動或演出現(xiàn)場提供影像的人。VJ是“影像騎師（Visual Jockey）”的縮寫。VJ藝術(shù)在廣義上可用來描述任何實(shí)時操控的視頻表演，主要目的是為現(xiàn)場觀眾提供與音樂表演高度同步的視覺體驗(yàn)。本文的研究對象主要是可適用于VJ演出現(xiàn)場的實(shí)時音樂可視化設(shè)計。

（2）視聽映射的概念與類型。在音樂可視化設(shè)計中，聲音與視覺信息之間需要建立起某些屬性上的關(guān)聯(lián)，以實(shí)現(xiàn)信息的轉(zhuǎn)化與生成，這一關(guān)聯(lián)手段被稱之為“映射（Mapping）”。映射是建立在擁有可供對位匹配的數(shù)據(jù)源的基礎(chǔ)上的，即先將這些數(shù)據(jù)源以某些預(yù)設(shè)的法則進(jìn)行對應(yīng)，再將其連通以實(shí)現(xiàn)信息之間單向、雙向或多向的傳輸和干預(yù)。映射的對象是指完成映射活動的信息載體，一般將特定媒介中的可量化屬性作為映射對象，這些屬性需要具有線性的可變區(qū)域，由此每個對象之間在變化范圍內(nèi)可以進(jìn)行對位匹配。

“自然映射（Natural Mapping）”是通過自然界中物理手段實(shí)現(xiàn)的視聽媒介傳遞與轉(zhuǎn)換，又稱“物理映射”。例如17世紀(jì)德國音樂家恩斯特·克拉尼（Ernst Chladni）發(fā)現(xiàn)，如果用小提琴的弓去敲打鋪滿沙粒的銅盤，根據(jù)弓在銅盤邊緣敲打位置的不同，能產(chǎn)生不同形狀的幾何圖形，這些圖形現(xiàn)在被命名為“克拉尼圖形”[3]。也有不少人嘗試用聲波的振動來驅(qū)動水面或沙粒形成共振以生成圖案化的視覺效果。在西方，這種聲音的物理可視化被稱之為“Cymatics”。

“直覺映射（Intuitive Mapping）”是指設(shè)計者根據(jù)自身的感受和主觀判斷制定信息間的對位方式，體現(xiàn)了創(chuàng)作者自身情感與經(jīng)驗(yàn)的主導(dǎo)。研究直覺映射規(guī)律時經(jīng)常需要從心理學(xué)的角度入手?！巴ǜ新?lián)覺（Synesthesia）”是指人的感覺器官，即視覺、聽覺、嗅覺、味覺和觸覺之間的相互感通，對一種感覺器官的刺激可以引起其他感官的感覺?；谝曈X和聽覺的通感方式，或被稱之為“視聽通感”。 1927年，心理學(xué)家沃爾夫?qū)た评眨╓olfgang K?hler）做了相關(guān)的測試，成為“語音符號學(xué)”（Phonetic Symbolism）的經(jīng)典案例——他在給出兩張抽象圖片于測試者后提問：“兩張圖中哪一張代表聲音Maluma，哪一張代表聲音Takete？”（見圖1）幾乎所有的被測者都能給出相同的答案，因?yàn)槭菍蓮垐D分別與其中一個聲音進(jìn)行了匹配[4]。這些理論說明了人類在處理視聽語言之間的關(guān)聯(lián)性時具有某些共通的心理傾向。直覺映射有較為人性化、情感化的特質(zhì)，能較好地體現(xiàn)人對音樂的理解。

圖1 語音符號學(xué)圖片案例

“邏輯映射（Logical Mapping）”是指根據(jù)預(yù)先設(shè)置的邏輯關(guān)系以判斷信息間的匹配規(guī)則。在藝術(shù)表現(xiàn)中，每一種媒介都有自身發(fā)展的邏輯規(guī)律，而不同媒介在起承轉(zhuǎn)合間能尋找到蛛絲馬跡的相似點(diǎn)而相互匹配。比如音樂中音的音高、音強(qiáng)、音色、旋律、節(jié)奏等要素，與視覺感受中的顏色、亮度、形狀、體積等特質(zhì)間能建立起豐富的對位關(guān)系。邏輯映射雖然沒有“放之四海而皆準(zhǔn)”的法則，但針對人類一些共通的感受而言是可以總結(jié)出規(guī)律來的。如人們對音樂的頻率高低之于顏色的亮暗之間具有本能的對位判斷。頻率較高的聲音能讓人產(chǎn)生較亮的視覺意象，頻率較低的聲音能讓人產(chǎn)生較暗的視覺意象。再如，根據(jù)人的情態(tài)變化進(jìn)行基于運(yùn)動關(guān)系的對位映射——“高漲”、“低落”，“強(qiáng)烈”、“緩和”，“緊張”、“松弛”等心理活動都可以物化為相應(yīng)的視聽語言特征。

“數(shù)字化映射（Digital Mapping）”是指利用數(shù)字技術(shù)以及計算機(jī)算法實(shí)現(xiàn)的視聽對位方式。數(shù)字化映射并非獨(dú)立于此前的幾種映射方式的全新模式，而是將數(shù)字媒體所特有的信息處理、儲存和運(yùn)算方式應(yīng)用于不同的映射方法中。數(shù)字音樂可視化常見的例子是數(shù)字音頻播放器中的可視化動畫演繹，例如使用Nullsoft公司的Winamp Advanced VisualizationStudio以及蘋果公司的iTunes Visualizer等軟件插件，可以通過軟件算法實(shí)時生成音樂動畫。動態(tài)的數(shù)字化映射的基本原理是提取數(shù)字視聽媒介中關(guān)鍵信息的參數(shù)數(shù)據(jù)，并將這些數(shù)據(jù)的變化范圍進(jìn)行動態(tài)匹配——將聲音的音量的數(shù)據(jù)變化范圍（0～127）分別匹配到圖像透明度的數(shù)值變量（0～255）中，當(dāng)音量為0時透明度為0，音量遞增至127時透明度就隨之遞增至255。音樂可視化中的數(shù)字映射包括數(shù)字音頻信號分析和數(shù)字圖形圖像生成兩個步驟。

新時代，建設(shè)高教強(qiáng)國“中國模式”需要有新的理論引領(lǐng)，需要創(chuàng)新思維和轉(zhuǎn)變發(fā)展方式，從價值引領(lǐng)、理念創(chuàng)新、發(fā)展轉(zhuǎn)型和身份建構(gòu)等多個方面推進(jìn)高教強(qiáng)國“中國模式”的實(shí)現(xiàn)。

2.多通道映射的研究方法

由于音樂本身具有豐富而微妙的情感化信息，在音樂可視化過程中，很難以單一的法則去機(jī)械地將其轉(zhuǎn)換成視覺。況且人的感官對于視覺的敏感程度又超過了聽覺，因此如何創(chuàng)造出生動而又具有表現(xiàn)力的視聽轉(zhuǎn)換模式是音樂可視化設(shè)計的難點(diǎn)所在。瓦爾特·本雅明（Walter Benjamin）在論著《機(jī)械復(fù)制時代的藝術(shù)》中指出，藝術(shù)作品特殊性“韻味（aura）”在機(jī)械復(fù)制時代就消失了[5]。這很容易讓人聯(lián)想到許多媒體播放器的音樂可視化動畫，是無法準(zhǔn)確體現(xiàn)出不同音樂的審美特性的。

音樂可視化設(shè)計中的多通道視聽映射是指在聲音與視覺信息之間建立起多重的映射通道，使不同映射屬性之間相互影響而實(shí)現(xiàn)綜合的視聽效果，并發(fā)揮出不同映射手段間的互補(bǔ)性。多通道映射的匹配對象在數(shù)量上可以分成三類：一對多映射，多對一映射以及多對多映射。一對多映射（發(fā)散映射）是指一個控制變量影響多個參數(shù)；多對一映射（收斂映射）是指一個屬性參數(shù)被多個不同的控制器輸入?yún)?shù)所影響；多對多映射是指匹配對象之間具有較為復(fù)雜的對應(yīng)關(guān)系，一種屬性不僅能影響多種屬性參數(shù)，其自身同時也被多種不同屬性所控制。

本文所探討的重點(diǎn)問題是如何將計算機(jī)預(yù)設(shè)的可視化程序與人的情感因素相結(jié)合，如利用動態(tài)捕捉、電腦界面操控、電子樂器界面操控等數(shù)字交互技術(shù)以實(shí)現(xiàn)多通道視聽映射的設(shè)計方法。將人所具有的情感化因素有機(jī)融入數(shù)字化作品的進(jìn)程中，能增強(qiáng)作品的自然性和靈活性，實(shí)現(xiàn)理性因素與感性因素的平衡。新媒體藝術(shù)先驅(qū)羅伊·阿斯科特（Roy Ascott）認(rèn)為，不應(yīng)低估化學(xué)在創(chuàng)作中發(fā)揮的作用。大腦的化學(xué)組織為藝術(shù)傳遞了豐富的含義，這種作用可能不亞于認(rèn)知學(xué)以及超出生物邊界的領(lǐng)域的意義[6]。因此，將人工操控作為一重或多重通道介入預(yù)設(shè)的軟件程序中，形成具有部分人工介入因素的半自動系統(tǒng)，對于研究多通道視聽映射具有啟發(fā)意義。

筆者近年來利用開源編程平臺open Frameworks制作了一系列基于多通道映射的音樂可視化交互模型，并與多位音樂演奏家、肢體表演藝術(shù)家展開跨界合作，以探討這些案例所帶來的衍生意義，分析新媒體交互界面是如何在人工與非人工因素間建立起信息傳遞的橋梁，以促進(jìn)人性化的藝術(shù)表現(xiàn)。研究多通道映射的設(shè)置方式是：將第一層映射通道設(shè)置為現(xiàn)場音頻對視覺的直接影響，例如基于聲音音量和頻率的數(shù)據(jù)采集，并實(shí)時與視覺元素的屬性（比如亮度、運(yùn)動速度等）進(jìn)行映射；第二層映射通道則是基于對現(xiàn)場人員的主觀操控數(shù)據(jù)的采集，其中主要分為三個類型：（1）電腦界面操控；（2）樂器演奏觸后姿勢操控；（3）舞蹈等肢體動作操控。這些人工操控數(shù)據(jù)對于可視化生成具有干預(yù)作用，操控數(shù)據(jù)的不同屬性可以同時介入控制多重的視覺屬性。

三、基于多通道映射的實(shí)驗(yàn)?zāi)Ｐ?/h2>

1.電腦界面操控與音樂共同參與映射

在本組實(shí)驗(yàn)中采用鋼琴演奏的現(xiàn)場音樂作為可視化對象，在提取現(xiàn)場音頻中的音量參數(shù)的同時通過鼠標(biāo)、鍵盤、觸摸屏等人機(jī)交互界面全面介入，共同實(shí)現(xiàn)實(shí)時可視化動畫效果。

（1）實(shí)驗(yàn)?zāi)Ｐ椭唬菏髽?biāo)與音量共同驅(qū)動的路徑跟隨動畫。本實(shí)驗(yàn)是為鋼琴家現(xiàn)場演奏的巴赫第五號英國組曲（English Suite No.5 in E Minor）所制作的實(shí)時可視化動畫（見圖2）。筆者使用開源編程工具openFrameworks開發(fā)了一套利用鼠標(biāo)方位控制與音樂音量控制結(jié)合生成的路徑跟隨動畫原型。該動畫的基本視覺形態(tài)為幾條幾何曲線所構(gòu)成的圖形，每條曲線分別由一系列互相跟隨的長方形節(jié)點(diǎn)構(gòu)成。

圖2 實(shí)驗(yàn)?zāi)Ｐ椭唬含F(xiàn)場效果及映射模式

動畫路徑生成的算法如下：現(xiàn)場鋼琴音量的分貝值通過麥克風(fēng)接收進(jìn)入電腦，將音量變量同時控制線條頂點(diǎn)運(yùn)動的加速度變化以及線條的亮度和寬度；鼠標(biāo)的移動位置代表著曲線頂點(diǎn)移動的方向；曲線頂點(diǎn)始終會跟隨著鼠標(biāo)所在的位置做減速運(yùn)動。

在演出中可以由后臺操作者跟隨現(xiàn)場音樂帶來的感受操控曲線的跟隨路徑，這種操控過程接近于舞蹈者跟著事先排演過的音樂進(jìn)行舞蹈動作一般，由手動操控路徑的舞動。相比單純跟隨鼠標(biāo)路徑運(yùn)動的動畫而言，這一動畫原型將聲音的反饋與可控的路徑相結(jié)合。由于音量變化實(shí)時控制著路徑運(yùn)動的加速度，因此在對鋼琴等樂器發(fā)出的顆粒感較強(qiáng)的聲音效果能產(chǎn)生比較理想的視覺變化，尤其是當(dāng)演奏者彈奏某一單音時，幾何曲線會驟然加速并慢慢減速，這一運(yùn)動速度上的驟變與漸變的結(jié)合能創(chuàng)造出比較自然生動的動態(tài)效果。

（2）實(shí)驗(yàn)?zāi)Ｐ椭阂园存I實(shí)時切換群集動畫的整體運(yùn)動屬性。在另一組鋼琴演奏的可視化實(shí)驗(yàn)中，筆者將先前的控制模式進(jìn)行了調(diào)整。動畫的視覺主體仍然是可以感應(yīng)音樂音量的動態(tài)曲線，多條曲線呈現(xiàn)群集狀出現(xiàn)在畫面中，為體現(xiàn)該群集動畫的生動性，本程序由人工通過電腦鍵盤切換線條整體的運(yùn)動屬性和線條的出現(xiàn)數(shù)量（見圖3）。當(dāng)按下按鈕A鍵,會有兩根線條根據(jù)現(xiàn)場音量從畫面底部游動出現(xiàn)，而當(dāng)再次按下A鍵時會有另外兩條曲線出現(xiàn)，由此重復(fù)便可以根據(jù)音樂進(jìn)程逐漸增加曲線的數(shù)量。另外兩個按鈕D和F則用來切換曲線整體的運(yùn)動模式。當(dāng)按下D時每條曲線各自遵循不同的路徑運(yùn)動，而按下F時所有的曲線同時向一個固定坐標(biāo)運(yùn)動。這個效果也適合根據(jù)音樂的具體進(jìn)程而實(shí)施操作，比如在彈奏到某一個強(qiáng)音的時候，將曲線的運(yùn)動忽然切換成整齊劃一，會產(chǎn)生較為強(qiáng)烈的視覺沖擊。在這一交互原型的應(yīng)用演示中，將投影影像直接投射在了鋼琴表面以及背景為白色的幕布上。當(dāng)人工切換配合音樂音量的時候，能產(chǎn)生線條動畫從琴身內(nèi)部鉆出來的效果。

圖3 實(shí)驗(yàn)?zāi)Ｐ椭含F(xiàn)場效果及映射模式

2.樂器演奏姿勢與音樂共同映射

實(shí)驗(yàn)?zāi)Ｐ椭篗IDI鍵盤與Kinect攝像頭結(jié)合的交互實(shí)驗(yàn)。從演奏樂器的角度，身體姿勢是創(chuàng)造聲音和視覺的重要手段，該實(shí)驗(yàn)?zāi)Ｐ驮噲D以演奏者演奏鍵盤樂器的觸控與身體姿勢作為信息源共同決定可視化效果。

演奏樂器時演奏姿勢可以分為有效姿勢和輔助姿勢，有效姿勢指觸發(fā)聲音的身體運(yùn)動，如手指觸碰琴鍵、手臂牽引琴弓拉動琴弦等；輔助姿勢是指用以支持和輔助有效姿勢的一系列身體運(yùn)動，比如晃動軀干、搖頭、臉部肌肉運(yùn)動、深呼吸等。本實(shí)驗(yàn)試圖利用演奏姿勢中的輔助姿勢作為改變可視化效果的信息參數(shù)。樂器演奏中的“觸后姿勢”是指觸碰了琴鍵或其它樂器界面的下一個瞬間出現(xiàn)的肢體行為，比如彈壓鋼琴琴鍵之后抬手的動作就是自然的觸后動作。將觸后姿勢作為信息參數(shù)動態(tài)捕捉入電腦可以用來進(jìn)一步操控先前由于彈奏而生成的動畫。

該交互原型使用MIDI鍵盤的演奏與實(shí)時手勢共同操控音樂與可視化動畫的生成。這一系統(tǒng)可以讓參與者在演奏音樂音符的同時在前方的屏幕上生成動態(tài)符號，并用手勢操控這些符號而以此繼續(xù)改變音樂的進(jìn)程（見圖4）。

在本實(shí)驗(yàn)中大致做了如下幾個步驟的邏輯設(shè)定：首先觸發(fā)琴鍵生成音樂，同時生成視覺幾何形態(tài)，然后以觸后姿勢中手臂的抬起高度來控制音符及可視化圖形的后續(xù)進(jìn)程。這套原型是由Kinnect紅外線攝像頭捕捉手部的運(yùn)動路徑，同時將MIDI鍵盤的信號傳輸至電腦中。

圖4 實(shí)驗(yàn)?zāi)Ｐ椭含F(xiàn)場效果及映射分析

3.肢體表演與音樂的共同映射

在演出中，表演者無論是在臺上演奏樂器還是表演舞蹈或進(jìn)行語言交流，都具有比日常生活更為豐富和生動的身體運(yùn)動信息，可以說身體是表演過程中最為重要的信息傳播媒介。

《Messa di Voce》是新媒體藝術(shù)家Golan Levin和Zach Lieberman在2003年創(chuàng)作的作品，該作品較好地詮釋了表演者肢體運(yùn)動與聲音配合的多通道映射。整個作品以舞臺表演的形式展現(xiàn)，兩位抽象人聲藝術(shù)家在現(xiàn)場發(fā)出的講話、叫喊和歌聲等被實(shí)時可視化合成為平面動態(tài)圖形作為場景中的視覺增強(qiáng)介質(zhì)，而且演員的肢體動作也會被攝像頭實(shí)時捕捉以確保動畫出現(xiàn)的位置與演員身體的位置重合，這樣產(chǎn)生的可視化圖形就是直接從演員體內(nèi)發(fā)散出來的。

筆者的研究側(cè)重于探索人的肢體語言所具有的豐富情感信息，將演員在聽到音樂的同時所做出的肢體直覺反饋?zhàn)鳛橛成涞膬?nèi)容，并將這些信息與音樂結(jié)合以增強(qiáng)可視化視覺的層次感及表現(xiàn)力。

（1）實(shí)驗(yàn)?zāi)Ｐ椭?。筆者于2013年7月與兩位奧地利藝術(shù)家合作的作品是《Art of Reading Map》，因此使用了將表演者的身體動作與現(xiàn)場音樂共同作為可視化影像內(nèi)容的交互模式。畫面中整體視覺元素是由密布著的亮線條組成的?，F(xiàn)場的電子音樂表演者操控電子合成器發(fā)出高頻音與低頻音的組合，音頻的音高變化由FFT（快速傅立葉變換）算法識別，由此來控制畫面中線段的抖動頻率和幅度。畫面同時被表演者的肢體剪影所干預(yù)，表演者進(jìn)入空間通過肢體表演在畫面中形成一個空洞的剪影。

（2）實(shí)驗(yàn)?zāi)Ｐ椭?。《對話》是筆者與上海音樂學(xué)院音樂工程系合作的新媒體音樂劇演出，作為第15屆上海國際藝術(shù)節(jié)扶持青年藝術(shù)家計劃委托作品。其中的新媒體影像部分通過將舞者實(shí)時剪影形象的異化動畫投射在懸幕上，并附加延遲等視覺效果（見圖5）。通過現(xiàn)場古琴演奏音樂的音量以控制舞者剪影形態(tài)的模糊程度。由映射通道而言，舞者根據(jù)古琴音樂起舞，作為第一層通道控制視頻內(nèi)容，而音樂的音量與頻率對視頻內(nèi)容的亮度、模糊度和延遲數(shù)值產(chǎn)生了多重介入。

圖5 實(shí)驗(yàn)?zāi)Ｐ椭澹含F(xiàn)場效果

四、結(jié)論

場校準(zhǔn)。將樂器演奏姿勢與音樂共同實(shí)現(xiàn)視聽映射，該模式能發(fā)揮出樂器演奏中肢體運(yùn)動信息的復(fù)雜性，并將這些觸發(fā)出音樂的運(yùn)動信息進(jìn)行再度利用，使身體姿勢和音樂之間的因果循環(huán)關(guān)系在視覺上得到延伸。表演者針對音樂的直覺反饋通過身體的運(yùn)動與姿勢反映出內(nèi)心的變化，在這層通道的基礎(chǔ)上附加數(shù)字化特效，是一種以人工因素為主導(dǎo)的可視化模式。其作品的進(jìn)程具有即興表演的不確定性，正如本雅明所說，新媒體舞臺藝術(shù)的復(fù)制卻非傳統(tǒng)藝術(shù)意義上的“復(fù)制”或“表現(xiàn)”，互動使得每一次復(fù)制都是一次全新的創(chuàng)作。

多通道映射模式的具體設(shè)計方法源于設(shè)計者自身建立的審美體系，只有將設(shè)計師對音樂的理解融入視覺創(chuàng)作中，才能真正將藝術(shù)與技術(shù)融會貫通。有一些轉(zhuǎn)換模式并不能很好地反映出原始音樂信息的動態(tài)特征，在某些映射模式中原始信息甚至是無關(guān)緊要或是根本不會被觀眾察覺的。很多情況下，可轉(zhuǎn)換數(shù)據(jù)本身并不是作品中首要的問題所在，而是通過這些數(shù)據(jù)的傳輸使得一些數(shù)據(jù)流的趣味點(diǎn)能更好地被人們理解和體驗(yàn)，或是用一種新的方式被感知[2]。因此創(chuàng)作者需要特別注意作品的美學(xué)因素以及交互過程的可識別性。另外，創(chuàng)作中應(yīng)該盡量避免對視覺特效的過度解讀。比如有的時候視覺的存在反而削弱或干擾了音樂本身的表現(xiàn)力。一些優(yōu)秀的VJ藝術(shù)家被稱之為“動態(tài)影像的煉金術(shù)士（Moving-image alchemists）”[7]，因?yàn)樗麄兡苁箖煞N媒介間產(chǎn)生化學(xué)效應(yīng)，給原本已令人產(chǎn)生審美疲勞的后現(xiàn)代文化注入新的生命力。

本文簡要概括了音樂可視化設(shè)計中視聽映射的基本類型，并針對其中的直覺映射和邏輯映射類型以數(shù)字化的型式探索了兩者的融合方式，在可視化過程中以多通道模式共同介入作品的生成。以操控電腦界面來介入實(shí)時的音樂可視化呈現(xiàn)，其操作目的可分為確定動畫運(yùn)動方位和切換動畫生成模式兩類。前者適合于用鼠標(biāo)或觸摸屏等指向性輸入設(shè)備來操作，其本質(zhì)是將人對音樂的主觀理解轉(zhuǎn)化為手指的運(yùn)動，并將運(yùn)動信息數(shù)字化映射為圖形的動態(tài)參數(shù)；后者適合于用鍵盤按鍵切換來操作，是人為選擇和改變預(yù)設(shè)程序的方法。設(shè)計過程中需要特別注意的是關(guān)于映射參數(shù)間的影響范圍，如多強(qiáng)的音量變化能產(chǎn)生多明顯的效果改變，這些都需要根據(jù)實(shí)際情況進(jìn)行精確的現(xiàn)

[1]康定斯基.康定斯基論點(diǎn)線面［M］.羅世平，魏大海，辛麗，譯.北京：中國人民大學(xué)出版社,2003：5.

[2]Golan Levin.Audiovisual Software Art:A Partial History[EB/OL]www.flong.com/texts/essays/see_this_sound_old/ .2009.

[3]維基百科.“恩斯特·克拉德尼”詞條.http://en.wikipedia.org/wiki/Ernst_Chladni.2014.

[4]Niall Moody.Ashitaka：An Audiovisual Instrument[D].英國：格拉斯哥大學(xué),2009：78-91.

[5]瓦爾特·本雅明.機(jī)械復(fù)制時代的藝術(shù)[M].李偉,郭東,譯.重慶：重慶出版社，2006:32.

[6]羅伊·阿斯科特.未來就是現(xiàn)在：藝術(shù)，技術(shù)和意識[M].周凌，任愛凡，譯.北京：金城出版社,2012：271.

[7]Michael Faulkner.audio-visual art+vj culture［M］.Laurence King Publishing.2006：70.