陳夢璐

一、作品簡介與創(chuàng)作背景

（一）作品簡介

Weapon of choice 該作品通過使用傳感器捕捉演奏者的動作，并對其動作進行數(shù)據(jù)化處理后，從而得到音頻與視頻的實時呈現(xiàn)，以多種方式擴展了小提琴演奏者表現(xiàn)的可能性。一種新的音樂表演方式被創(chuàng)造出來，使演奏者的整個身體成為復(fù)雜樂器的一部分，在一個場景化的、可直觀感知的場域中，基于現(xiàn)場處理的方式來完成的一件作品。

（二）創(chuàng)作背景

這個作品是在MAX/MSP 平臺制作完成。交互方式是通過一個連接在演奏者手腕上的傳感器來實現(xiàn)的，它可以感知琴弓的方向、速度、力度。在演奏者面前放置了一個攝像頭，讓他可以通過紅外線感應(yīng)，根據(jù)演奏者的動作實時創(chuàng)造音頻、視頻，這樣就形成音頻、視頻與演奏者間的互動。

在手腕上連接一個傳感器，使演奏者能夠?qū)崟r處理演奏的音頻材料。相對于由作曲家或固定的時間線來控制音頻處理，這為演奏者提供了很大的自由度和靈活性。此外，作品的結(jié)構(gòu)也試圖拓寬演奏者弓子、手和上半身動作相關(guān)的表達方式。將手勢融入到場景中，形成了作品的一個重要部分，在這個作品中，現(xiàn)場電子和感知到的身體運動是相輔相成的。通過伸展的弓臂及其動作來保持聲音和重新觸發(fā)演奏材料的可能性，將傳統(tǒng)用小提琴創(chuàng)造聲音的方式轉(zhuǎn)變?yōu)橐环N新的形式。現(xiàn)場視頻完全是通過演奏者的動作來創(chuàng)造的。因此，音樂、視頻和動作之間的相互作用可以創(chuàng)造出不同形式的同步和對位。

這個作品所要表達的是一種武士精神，它使用較大的動作和強大處理播放的材料來詮釋這種武士精神。

二、Wii 傳感器

此作品運用到的是Wii 傳感器。我們需要知道的是Wii 傳感器是什么？為什么可以通過傳感器去設(shè)計聲音？它是怎么實現(xiàn)聲音的設(shè)計？

Wii 是任天堂公司于2006 年11 月19 日所推出的家用游戲主機，Wii 是家用游戲機的第七代。Wii 的基本硬件包括有主機、動作識別傳感器、主遙控器和梭形控制器（因兩控制器有線連接而被稱為“雙節(jié)棍”）。

Wii 設(shè)計里最獨特的“體感操作方法”，體驗者將遙控手柄綁在手上，通過手位置的變化來控制面板的光標，從而有效的提取出相應(yīng)的數(shù)據(jù)。也就是說，在作品Weapon of choice 中，演奏者把手持遙控器幫在手上，揮弓力度和速度等數(shù)據(jù)都會被全記錄，這些數(shù)據(jù)早在之前就設(shè)計好了對應(yīng)的音頻、視頻效果的呈現(xiàn)。這樣就可以實現(xiàn)實時交互。演奏者現(xiàn)場產(chǎn)生的聲音效果以及視頻效果就是根據(jù)這些數(shù)據(jù)反饋來的。當(dāng)然這種實時交互的每一場都是不一樣的，雖然數(shù)據(jù)是一樣的，但是我們無法保證演奏者每一場都是百分之百完全一樣，在專業(yè)的演奏人員都無法保證演奏同一首，每次都是百分之一百一樣。我們所有的呈現(xiàn)都是根據(jù)演奏者當(dāng)時演奏情況而來，也就是說，同樣的演奏員揮弓的力度大了一點點；或者快了0.1m；或者演奏人員對這句的情緒理解產(chǎn)生了新的變化等等，最后導(dǎo)致的音頻、視頻的呈現(xiàn)都是不一樣的。所以實時互動音樂，每一場都是獨一無二的。

Wii 有如此靈活出眾的操控方式，歸功于遙控器內(nèi)部的三維加速度傳感器芯片，加速度傳感器芯片負責(zé)將三維位置的力度和移動速度記錄下來，并通過主機映射到屏幕上。三維加速度傳感器芯片屬于集成電路芯片，可以記錄下物體移動速度和位置變化情況。

梭形控制器里面就有三維加速度傳感器芯片，梭形控制器的移動速度、方向、力度都被記錄在芯片中，所以演奏者的一舉一動都能通過梭形控制器被詳細的記錄下來，通過藍牙發(fā)送到主機，主機接受到數(shù)據(jù)后通過與之前的位置數(shù)據(jù)進行比較和運算而得到當(dāng)前的位置，這樣就能實現(xiàn)屏幕游標的改變，演奏員揮桿動作相應(yīng)就形成了聲音的變形、音量大小的變化、效果器的變化等。這些聲音設(shè)計的方法都是來自Wii 在游戲設(shè)計中的體驗。

三、聲音與傳感器之間交互設(shè)計的實現(xiàn)

（一）交互設(shè)計

交互設(shè)計，又名互動設(shè)計，是定義、設(shè)計人造系統(tǒng)行為的設(shè)計領(lǐng)域。它概括了兩個及兩個以上個體之間交流互動的結(jié)構(gòu)和內(nèi)容，讓其互相配合，為達到某種共同的目的。在人機交互中，交互的三個要素：機器/系統(tǒng)、人、界面。交互的方式：輸入和輸出的過程即為交互過程，以人機界面為媒介向計算機輸入指令，經(jīng)過處理后計算機把輸出結(jié)果呈現(xiàn)給用戶。交互的形式：交互的形式呈多樣化，是由于這種輸入和輸出的形式是多種多樣的。

（二）聲音與傳感器之間的三重思維設(shè)計

交互電子音樂設(shè)計思維是基于抽象藝術(shù)、音樂和作曲技術(shù)理論以及計算機之上的一種思維模式，其與以上三門學(xué)科的合作關(guān)系是多維的。交互的不同部分決定了作曲家必須選擇不同的思維模式?！敖换ァ焙汀半娮右魳贰笔菢?gòu)成交互電子音樂的兩大部分，作曲家在演出前完成前期的互動流程設(shè)計，演出過程中則只需扮演演奏者，在計算機旁或其他互動設(shè)備前進行操作。

從技術(shù)和理念的角度看，電子音樂、磁帶音樂和具體音樂呈現(xiàn)的是一種音樂的“結(jié)果”，而交互式電子音樂在追求“結(jié)果”的同時還追求音樂的“過程”。撇開創(chuàng)作過程不談，交互音樂表演本身就完全顛覆了過去任何一種音樂風(fēng)格的表演方式。身兼數(shù)職的交互電子音樂創(chuàng)作者面臨的最大的挑戰(zhàn)之一就是創(chuàng)作聲音、程序編寫、實時演奏的三重設(shè)計思維。

（三）聲音與傳感器之間的系統(tǒng)設(shè)計

通常，交互電子音樂系統(tǒng)分為輸入、反饋和輸出三個組成部分。托德·溫克勒將交互音樂系統(tǒng)的建立總結(jié)為五個步驟：

步驟一、人為和樂器輸入：通過控制器、傳感器拾取舞臺表演者的動作信息來收集數(shù)據(jù)，轉(zhuǎn)換成數(shù)字信號輸送到計算機。

步驟二、計算機讀取與分析：計算機讀取信息后，對音樂元素（如速度、節(jié)奏、音高、音量等）和數(shù)據(jù)信息進行翻譯和分析。

步驟三、傳譯：軟件對計算機接收的信息進行解釋，生成可以用來制作的數(shù)據(jù)。

步驟四、計算機作曲：計算機程序?qū)ι鲜錾梢魳返母鱾€方面做出反饋，進入創(chuàng)作過程。

步驟五、聲音生成和輸出、表演：計算機創(chuàng)建聲音，通過自身和一系列發(fā)生裝置共同實現(xiàn)聲音的輸出。

其中，步驟一、二需要傳感器對弓子的揮動力度、速度、方向做出快速、準確的分析，計算機負責(zé)接收信息。后三個步驟則由作曲家發(fā)揮其作曲技術(shù)和藝術(shù)想象空間，用弓子的揮動力度、速度、方向等給到計算機指令，從而使計算機得出最后的音樂效果，并使其表現(xiàn)出來。這些表演信息可以用計算機程序得出成千上萬種算法表達，也可以將原始的聲音通過這些算法做出無數(shù)種處理和變形。因此，為創(chuàng)建某種交互電子音樂系統(tǒng)，作曲家不光需要充分發(fā)揮創(chuàng)造能力去創(chuàng)作、設(shè)計、選擇、調(diào)整，還要設(shè)計出程序中每一個具體步驟的具體實施方案。

在Weapon of choice 曲子中，需要用到外部獨立軟件OSCulator 運行，在OSCulator 中打開OSCulatorpatch，按下“press Pairing”按鈕，這樣程序就會尋找控制器，之后在按下Wii 控制器里面的紅色按鈕，它就會創(chuàng)建一個連接。

交互電子音樂在技術(shù)特征上分為實時處理聲音和實時控制聲音兩種類型，作品Weapon of choice 使用實時處理聲音。這種類型在系統(tǒng)上的設(shè)計流程是原始采樣聲音——傳感器——計算機程序——實時合成實時變形——聲音輸出。形成演奏者通過樂器與計算機系統(tǒng)進行實時的交互演奏，利用設(shè)計好的程序?qū)β曇暨M行實時的合成、變形，在反饋出來，與演奏者進行互動。作品Weapon of choice 還使用了實時控制預(yù)制聲音，這種類型在系統(tǒng)上的設(shè)計流程是與之聲音數(shù)據(jù)MIDI 信號——傳感器——計算機程序——數(shù)據(jù)映射實時處理——聲音輸出。這種交互方式類似于MIDI 技術(shù)的概念，預(yù)先完成音樂的框架，將某種主題聲部和即興聲部之間形成并完成互動。觸發(fā)預(yù)制好的聲音數(shù)據(jù)，通過傳感器、數(shù)據(jù)驅(qū)動控制器或其他媒介。計算機通過對現(xiàn)場演奏進行實時映射、處理和改變信號，完成即興演奏互動。

四、作品Weapon of choice 中的聲音設(shè)計

（一）聲音設(shè)計的概念

聲音是表達電子音樂藝術(shù)的核心所在?？梢栽O(shè)計出屬于自己的聲音對于創(chuàng)作電子音樂來說十分重要，大多數(shù)作曲家在創(chuàng)作電子音樂時找尋新的音色、新的方法，使得聲音進行合成、組織、變形，讓聲音成為變化參數(shù)，從而可以對音色進行重新塑造。聲音合成，采樣和信息處理算法等都可以實現(xiàn)音色的重塑。

（二）實現(xiàn)聲音設(shè)計的方式

1、采樣與合成

在聲音的選擇方面，作品Weapon of choice 中運用了采樣小提琴聲音、合成器聲音。音色重塑的過程，作曲家非常注重聲音品質(zhì)的處理和把握，他所使用的技術(shù)主要包括：分析與再合成、粒子合成、減法合成、梳狀濾波等手段。

2、聲音的預(yù)制

得到合成聲音之后，將這些聲音有理化放置，根據(jù)時間軸對聲音的預(yù)制部分進行排列。在Max/MSP 里面以羅馬數(shù)字排列聲音模塊的發(fā)聲順序。對于預(yù)制部分的聲音發(fā)展，Alexander Schubert 在傳統(tǒng)作曲思維基礎(chǔ)上，從設(shè)計音樂結(jié)構(gòu)到音樂內(nèi)部層次構(gòu)思。一個音樂形式為發(fā)展中心，通過作曲技巧、各種效果器、合成技術(shù)等方式對音樂進行發(fā)展，這種方法類似傳統(tǒng)音樂寫作中的動機發(fā)展手法。

3、聲音的實時

做出整體音樂框架設(shè)計之后，作曲家通過設(shè)計好的程序來控制聲音的觸發(fā)、速度及空間效果等。作品Weapon of choice 中對聲音最基本的控制就是源于弓子的移動。從弓子的速度、力度、方向等控制整個音樂的發(fā)展脈絡(luò)。對于聲音的實時部分，作曲家運用Max/MSP做出各種效果器，以弓子的速度、力度、方向等以及音頻工程師，來共同控制著效果器的開關(guān)，強弱。最后呈現(xiàn)的聲音都是根據(jù)現(xiàn)場演奏者的演奏表現(xiàn)出來，具有一定的未知性，這部分主要依靠演奏者的把控、對音樂的理解等。值得探討的是，全曲沒有固定音高，依靠小提琴演奏者的積累、對音響、音色、音樂的理解。

4、演奏的感性化理解

在這首曲子里，沒有五線譜、沒有具體的音高關(guān)系。作曲家把譜子圖像化，文字化。所有的演奏都是來自作曲家與演奏人員的溝通，以及演奏者自身的理解。這對演奏者來說即是一種考驗，又是一種對音樂的新的體驗。

圖1

如圖1 傳感器（弓子）與聲音設(shè)計的應(yīng)用：在這里弓子也就是傳感器，弓子一個強烈的運動會觸發(fā)前100毫秒的記錄，形成時間上的緩沖區(qū)，這個緩沖區(qū)然后作為一個循環(huán)播放，其中弓的音高和方向決定了緩沖區(qū)中循環(huán)的起點和終點(根據(jù)位置不同，它的變化范圍在5到100 毫秒之間)。

這里有‘三名演奏者’分別是小提琴、實時電子音樂、預(yù)置聲音（在這里我想強調(diào)的是在我的理解里，以及在我創(chuàng)作混合類電子音樂時，聲樂樂器是一個演奏者，雖然實時電子音樂是依著于聲樂樂器的產(chǎn)生而產(chǎn)生，但它不是聲樂樂器的附屬與伴奏，而是同等地位的存在。預(yù)置聲音同是。）：第一行Geige 表示小提琴演奏者，這里音樂呈點狀，是要小提琴演奏類似打擊樂聲音，并且保持節(jié)奏循環(huán)；第二行Elektronik 表示實時電子音樂，這里作曲家設(shè)置一種聲音效果，由演奏者通過傳感器將實時演奏的聲音變形而得到。在這里傳感器是演奏者與電子音樂的媒介。第三行tape 表示預(yù)置聲音，已經(jīng)做好的聲音在這一個點被觸發(fā)播放出來，這是一種提前做好的音頻素材，只需播放，不需要復(fù)雜的計算機演算。最后‘三個演奏者’一起演奏把這種素材推到一個高點。這是第一部分。整首作品都是由這‘三名演奏者’完成，就像一個三重奏的室內(nèi)樂作品。

圖2

如圖2，傳感器（弓子）與聲音設(shè)計的應(yīng)用：弓子的強烈的運動觸發(fā)播放之前的材料。這里主要是電子音樂密集的侵蝕入小提琴音樂，與小提琴音樂疊加、交織在一起。這里相應(yīng)了主題：武器。將電子音樂與小提琴音樂看成兩件武器，并相互斗爭著。預(yù)置音樂將這種斗爭升華，使其更加激烈。這在傳統(tǒng)作曲中可以看成復(fù)調(diào)音樂。這是作品的第三部分。

如圖3，傳感器（弓子）與聲音設(shè)計的應(yīng)用：運用弓子來觸發(fā)低音磁帶的循環(huán)播放、觸發(fā)暫停。每次新的強移動觸發(fā)16 個預(yù)置聲音，每次移動觸發(fā)循環(huán)播放器開始新的循環(huán)，最后一個強烈的動作觸發(fā)下一個動作。

圖3

作品的第四部分，主要的材料有：直接響亮的聲音、沒有聲音的運動、直接響亮的聲音、沒有聲音的運動。這種相互的交錯，直至最后‘三個演奏者’的快速強烈的聲音運動。

結(jié) 語

本文通過對傳感器、聲音設(shè)計相關(guān)問題、創(chuàng)作背景、思維，對交互電子音樂的概念和特點以及交互中聲音設(shè)計思維進行了梳理?？梢匀齻€層面挖掘出電子音樂創(chuàng)作中聲音設(shè)計的整體特征：1、交互電子音樂創(chuàng)作中聲音的三個特點：控制性、即興性、不確定性。2、交互電子音樂主要研究聲學(xué)樂器與計算機之間的互動形式，從而開拓音樂創(chuàng)作的邊界。3、交互電子音樂創(chuàng)作的實現(xiàn)需三種創(chuàng)作思維：創(chuàng)造聲音、編寫程序，實時演奏，交互電子音樂實現(xiàn)的過程需要作曲家思考到每一個程序、每一步音樂發(fā)展。通過上述研究，希望可以為下一步深入研究交互電子音樂創(chuàng)作的技術(shù)特征和藝術(shù)特征做出鋪墊并提供理論支持。