韓金昊/ 楊萬鈞 （四川音樂學(xué)院）

引 言

在電子音樂誕生初期，電子音樂的研究方向集中于運(yùn)用硬件創(chuàng)造新聲音和探索新的表演可能性上，直到20世紀(jì)40年代計(jì)算機(jī)的發(fā)明為信號數(shù)字化研究提供了全新的途徑與方向，電子音樂才逐漸擴(kuò)展到現(xiàn)在的新媒體與多平臺上。在探索更高效的聲音合成方面，使用代碼合成聲音并不是近些年才出現(xiàn)的，早在1950年工程師和音樂家就在RCA MARK II上①用編譯計(jì)算機(jī)執(zhí)行代碼的方式實(shí)現(xiàn)了電子化聲音的合成與電子音樂的創(chuàng)作，這是人類首次使用計(jì)算機(jī)作為主要開發(fā)工具來設(shè)計(jì)聲音與創(chuàng)作作品。從這個時期開始，多種聲音合成語言被開發(fā)出來用于聲音合成與音樂作品創(chuàng)作，如Music N②系列語言，目前此系列語言中還有Csound③等音樂編程語言在廣泛使用。經(jīng)過半個世紀(jì)的發(fā)展，現(xiàn)在的聲音合成語言體系趨于完善與多樣化。

長期以來，國際電子音樂研究機(jī)構(gòu)對于使用聲音編程方式設(shè)計(jì)聲音及作品創(chuàng)作都非常重視，許多國際性電子音樂學(xué)術(shù)活動都將實(shí)時編程音樂作為一個單獨(dú)的分類進(jìn)行探討與研究，如ICMC（International Computer Music Conference國際計(jì)算機(jī)音樂年會）、MAIN（MAteraINtermedia festival）等。此外還有專業(yè)研究機(jī)構(gòu)針對特定技術(shù)舉辦學(xué)術(shù)活動，ICSC（國際Csound年會）就是專門為使用Csound語言進(jìn)行聲音設(shè)計(jì)的音樂家們提供交流平臺。

目前國內(nèi)各大音樂學(xué)院以研究作曲技術(shù)為主，通用性計(jì)算機(jī)基礎(chǔ)較弱，藝術(shù)家習(xí)慣使用的簡化圖形編程語言不易與其他專業(yè)相匹配，進(jìn)而在技術(shù)上與其他專業(yè)人員交流有所不便。因此，加強(qiáng)從編碼層面設(shè)計(jì)的能力有利于為設(shè)計(jì)增添技術(shù)支持，進(jìn)而加強(qiáng)電子音樂與計(jì)算機(jī)的聯(lián)系，在設(shè)計(jì)與合成方面將會有更多的可能性和研究空間。

一、研究背景與目標(biāo)

在電子音樂發(fā)展初期，作品表演的方式是作曲家先在設(shè)備或合成器上創(chuàng)作出完整的音樂作品，然后再將錄音拿到音樂會現(xiàn)場播放。這種音樂會現(xiàn)場只有一對音箱或幾件設(shè)備，鮮有表演者的表演。甚至在某些情境下要盡可能封閉觀眾的視覺感官，作曲家要關(guān)閉音樂廳內(nèi)所有的燈光充分調(diào)動觀眾的聽覺，使得電子音樂會場很沉悶。這樣雖然強(qiáng)調(diào)了作品的聽覺性，但缺少了視覺刺激，觀感相對單一。為改善這一表演缺陷，部分電子音樂家開始嘗試在現(xiàn)場實(shí)時創(chuàng)作并表演電子音樂，或與舞臺表演結(jié)合在一起，就出現(xiàn)了混合媒體音樂、交互式音樂、聲音裝置。新藝術(shù)形式既能夠調(diào)動觀眾的聽覺又能豐富觀眾的視覺，讓觀眾與表演者或作曲家之間有著良好的溝通與互動，更容易取得好的藝術(shù)體驗(yàn)并活躍現(xiàn)場氣氛。

隨著計(jì)算機(jī)運(yùn)算速度的提高以及聲音合成語言技術(shù)的發(fā)展成熟，在近20年來的電子音樂發(fā)展中，實(shí)時編程創(chuàng)作電子音樂已形成相對獨(dú)立的電子音樂創(chuàng)作表演類別。

筆者在本科二年級期間接觸到能夠通過實(shí)時編程合成聲音的技術(shù)，在進(jìn)一步學(xué)習(xí)和研究的過程中，發(fā)現(xiàn)該技術(shù)不僅可以快速的合成聲音信號，還可以實(shí)時的對信號進(jìn)行修改，不僅可以輸出聲音信號還可以輸出或接收MIDI事件或OSC信息，在新媒體電子音樂中具有良好的表演性和兼容性。以此筆者同指導(dǎo)老師創(chuàng)作多個概念作品，截至此篇文章發(fā)表我們已完成首個作品《New Dawn》的公演，以及對不同系統(tǒng)下信號傳送的測試。在指導(dǎo)教師的鼓勵下筆者將該技術(shù)研究申報創(chuàng)新訓(xùn)練項(xiàng)目《MIDI音序技術(shù)與燈光交互訓(xùn)練》，獲得國家級的大學(xué)生創(chuàng)新創(chuàng)業(yè)項(xiàng)目的資金支持，并于2019年5月28日在四川音樂學(xué)院公演了諸多概念作品，獲得了現(xiàn)場觀眾的一致好評。本文將結(jié)合該作品討論在研究過程中所取得的成果和遇到的問題。

二、實(shí)時編程在新媒體電子音樂中的應(yīng)用

（一）實(shí)時編程技術(shù)在MIDI、DMX交互設(shè)計(jì)中的優(yōu)勢

實(shí)時聲音合成（Live_Coding Programming）是使用專為音樂家開發(fā)的聲音編程技術(shù)，在現(xiàn)場實(shí)時編譯代碼合成聲音與創(chuàng)作作品，綜合比較幾種語言后項(xiàng)目組選定了Sonic Pi作為研究對象。Sonic Pi是基于SuperCollider和Ruby開發(fā)、為“樹莓派”④單板機(jī)所開發(fā)的音樂編程語言，它學(xué)習(xí)起來簡單且專為實(shí)時編程所設(shè)計(jì)。Sonic Pi不僅支持MIDI事件和OSC信息的接收與發(fā)送，它在編譯MIDI或OSC信息時還可以添加算法支持，在實(shí)時編程時有更多的操作選擇。

MIDI（Musical Instrument Digital Interface即音樂設(shè)備數(shù)字接口），是一種使相關(guān)設(shè)備間相互兼容并實(shí)現(xiàn)信息交流的技術(shù)標(biāo)準(zhǔn)⑤。MIDI事件的信息結(jié)構(gòu)簡單，一個MIDI事件由一組8位的二進(jìn)制字符組成，這些事件信息以串行方式傳輸，因此它們可以控制同一系統(tǒng)內(nèi)的多個設(shè)備。MIDI事件里常用的三種可編譯事件是“channel”“pitch”“velocity”，在DAW⑥里對其調(diào)控采用圖形化控制方式，作曲家只需調(diào)出控制界面，在參數(shù)區(qū)畫出圖形化數(shù)值，就可以生成一個MIDI音符事件；在編碼中則需要規(guī)定一個MIDI音序器的操作碼⑦，對其聲明MIDI音高、力度就可以生成一個的MIDI信號，后面再加上一句對于輸出端口與通道的限定就可以發(fā)送到指定的軟硬件中。從本質(zhì)上看編碼就是將音序器中鼠標(biāo)操作的動作指令直接變成參數(shù)輸入到編譯器⑧中，節(jié)省了鼠標(biāo)參數(shù)與動作轉(zhuǎn)化映射。

如在Sonic Pi中寫入：midi_note_on 60, 127, port: “xxx”, channel: xxx，就可以產(chǎn)生一個MIDI音符事件。如要修飾控制器可加入相關(guān)控制參數(shù)：midi_cc 10, 60, port: “xxx”, channel: xxx。

DMX是Digital Multiplex的簡稱，意思是數(shù)字多路復(fù)用器，DMX512是一種燈光設(shè)備數(shù)字通信網(wǎng)絡(luò)的標(biāo)準(zhǔn)⑨，用于規(guī)范數(shù)字化燈光控制信息，增強(qiáng)設(shè)備之間的兼容性。

DMX標(biāo)準(zhǔn)下的燈光設(shè)備使用統(tǒng)一的16進(jìn)制數(shù)據(jù)，值域范圍0-255（十進(jìn)制整數(shù)），數(shù)據(jù)串行傳輸。更新后的DMX512標(biāo)準(zhǔn)下設(shè)備最多可以支持512個數(shù)據(jù)通道，每個通道單獨(dú)設(shè)置，支持與MIDI、C control等通用控制器建立映射。DMX512協(xié)議下的燈光設(shè)備一般都是一個設(shè)置一個通道，不存在復(fù)合通道設(shè)置，所以一個控制參數(shù)的控制值域?qū)⒈粡?qiáng)制縮放至0-255，不能分段映射或添加算法。DMX512的傳輸方式類似于網(wǎng)絡(luò)，通過給設(shè)備分配DMX地址（DMXIP）來確定數(shù)據(jù)包流向，這樣可以確保在正常通信情況下數(shù)據(jù)不會擁塞。

DMX512燈光設(shè)備的設(shè)置只有參數(shù)一種控制方式，無論是燈光模式調(diào)控還是顏色輪⑩軸轉(zhuǎn)速，都是通過數(shù)值大小來控制。以常用的搖頭燈（DcPR II）和PAR燈（Parabolic Aluminum Reflector light）為例，它的顏色控制只有一個設(shè)置通道——DMXIP+3。0-255這256個數(shù)值被劃分了3個數(shù)組，分別代表了當(dāng)前顏色轉(zhuǎn)盤的旋轉(zhuǎn)位置、顏色盤順時針旋轉(zhuǎn)速度和逆時針旋轉(zhuǎn)速度，以127/188/254三個數(shù)據(jù)點(diǎn)作為區(qū)分不同模式的間隔。這樣的控制方式雖然減少了數(shù)據(jù)通道的占用數(shù)量，在大型活動中可以承載更多的燈具。但是這也加大了控制難度，導(dǎo)致在切換燈光模式時難免會觸發(fā)其他不必要的模式，特別是MIDI控制器會受到很大的影響。此外，筆者在DMX映射模式測試中發(fā)現(xiàn)，將MIDI控制器接入DMX控制軟件后，推動MIDI推子時DMX信息數(shù)值是呈線性變化的。由于MIDI值域與DMX值域呈1:2的關(guān)系，使得映射后的數(shù)值比例也為1:2，即映射后的DMX控制精度下降一倍。另外在實(shí)際操控中，人工勻速漸變中數(shù)值的精確度不達(dá)標(biāo)，且人的主觀感受并不是線性變化的。因此在切換信號時用模擬類推子難以達(dá)到理想效果。

對于這種問題筆者在測試使用編碼編輯MIDI信號后發(fā)現(xiàn)可以利用編碼的方式彌補(bǔ)人工操控的短板。使用編碼編輯MIDI信號的優(yōu)勢在于可以使用復(fù)數(shù)線程同時操控，只需算法加持控制，就可以用單一變量在線程內(nèi)自行變化直到下一指令。如：

可以產(chǎn)生通道n數(shù)值k的控制器信號，接下來k會在線程內(nèi)變化，以此實(shí)現(xiàn)數(shù)值的對數(shù)變化或躍遷，從而精準(zhǔn)實(shí)現(xiàn)模式的切換或連續(xù)顏色位置的變動。

在綜合對比了多種控制器后，DMX512控制器的成本相對較低且與MIDI信號的兼容度最高，DMX信號與MIDI信號傳輸線纜相互兼容，且DMX512控制器自帶能與MIDI映射的算法，這使得MIDI與DMX的即時數(shù)據(jù)映射比其它控制器容易得多，因此最終選定使用DMX512控制器。

（二）實(shí)時編程在新媒體電子音樂表演中的應(yīng)用

依據(jù)以上通信協(xié)議與實(shí)時編程所創(chuàng)作的新媒體電子音樂作品《New Dawn》的意義在于，作品使用實(shí)時編程作為主要手段，綜合MIDI協(xié)議與DMX512協(xié)議在軟硬件設(shè)備之間通信，通過燈光與影像構(gòu)成視覺部分，使用“Sonic Pi”實(shí)時編程語言設(shè)計(jì)與創(chuàng)作，軟件“Freestyler”做DMX燈光控制，軟件“ResolumeArena”做影像實(shí)時生成。作品《New Dawn》共使用吉他、貝斯、合成器、鼓、鋼琴5種音色，其中吉他與鋼琴由表演者現(xiàn)場演奏，貝斯、鼓和合成器使用Sonic Pi內(nèi)置合成器與NativeInstrumentKontakt采樣音源進(jìn)行聲音合成。

此作品的創(chuàng)作建立在局域網(wǎng)MIDI與DMX通信上，音頻信號通過多臺電腦共同合成，最終通過調(diào)音臺輸出。這個系統(tǒng)特點(diǎn)在于MIDI信號通過無線局域網(wǎng)進(jìn)行傳遞，DMX信號通過物理菊花鏈?（Daisy chain）網(wǎng)絡(luò)相互傳送。本作品中使用RTPMIDI在無線網(wǎng)絡(luò)中共享MIDI事件，通過RTPMIDI每一端的IP地址區(qū)分?jǐn)?shù)據(jù)包的流向，將MIDI的控制事件發(fā)送至不同電腦上，同時控制多個軟件。DMX則同理，通過設(shè)置每臺射燈的DMXIP以確定信息流向，以支持多個模擬推子混合控制。在Sonic Pi實(shí)時編寫MIDI代碼所生成的MIDI事件通過RTP MIDI傳遞到Kontakt上，Kontakt接受MIDI事件后生成的數(shù)字信號通過DAC轉(zhuǎn)換成模擬信號與樂器信號一起經(jīng)過調(diào)音臺混合與處理，最后通過揚(yáng)聲器放出。系統(tǒng)連接如下圖所示：

在作品表演中除原始材料是預(yù)先準(zhǔn)備好的，其余媒體均為現(xiàn)場實(shí)時合成。在控制媒體的合成與混合量時，本作品中運(yùn)用MIDI控制器（MIDI controller）和編碼生成MIDICC?控制事件，該MIDI事件是連續(xù)的控制事件，常用于控制數(shù)字推子?。我們選用的MIDI控制器上有多個模擬推子?，當(dāng)控制器接入電腦后該推子將會持續(xù)發(fā)送當(dāng)前位置的信息，電腦則會把該MIDICC事件映射為數(shù)字推子，通過該方法可以使用控制器手動調(diào)節(jié)各類媒體的合成與混合。例如可以通過設(shè)置MIDI CC10（標(biāo)準(zhǔn)映射：Pan）映射為色相輪的參數(shù)，通過推動MIDI CC10來改變當(dāng)前影像的顏色。

影像軟件的映射頁面

同理該映射方法也應(yīng)用于DMX，通過將MIDI CC10映射為PAR燈的顏色通道，在改變影像色相輪的同時也改變燈光的顏色，使環(huán)境氛圍與影像保持一致，又或在控制軟件中對控制參數(shù)做反相，達(dá)到顏色間強(qiáng)烈的對比。這里將遇到在上文中提到的跨色域轉(zhuǎn)換顏色問題，當(dāng)要將紅色域轉(zhuǎn)換到黃色域時，使用模擬推子推動的過程中必將經(jīng)過綠色域，這會造成舞臺上顏色與音樂不協(xié)和。從理論上看，在線性變化中都會出現(xiàn)這種情況，因此這里就必須要用到編碼方式彌補(bǔ)模擬推子的線性問題。這里我們用到下面這組算法：

在這段代碼中的算法通過定義一個數(shù)字集合，并規(guī)定循環(huán)觸發(fā)條件，就可以確定在某一時間跳過某一色域，從下一色域反向進(jìn)行。通過降低集合的循環(huán)時間、提高集合數(shù)組的精確度可以增加DMX映射后的分辨率。比如保持片段的時間長度不變，但是將事件數(shù)量提高一倍，單個事件的觸發(fā)事件降低一倍，結(jié)果將是在原時間長度下數(shù)值變化的分辨率提高一倍。

在整個作品的表演過程中各個部分運(yùn)作雖然相互獨(dú)立，但是控制信號的來源只有一臺電腦、一個控制器，這使得在第二段落后控制難度慢慢增加，需要控制的參數(shù)也越來越多。一個操作員最多可以同時操控兩個推子和一個旋鈕，或者一臺電腦上的四個虛擬控制器，這時DMX協(xié)議最大的弊端就暴露了出來——人工無法同時操控諸多的控制器，因此在作品中后期大量使用算法作為生成MIDICC事件的核心方式。下面這段代碼就是諸多線程中的一個，它將簡化眾多繁瑣的勻速推程，讓程序根據(jù)算法自行生成連續(xù)的MIDI信息。

這一段代碼就使用算法的方法實(shí)現(xiàn)了搖頭燈的顏色切換，同理還有數(shù)個code block完成其他控制，這些code block分布在同時進(jìn)行的多個線程里，相互獨(dú)立但可控。在表演時可以實(shí)時修改i、k和n的數(shù)值，實(shí)現(xiàn)色域、運(yùn)行分辨率、運(yùn)行時間的實(shí)時調(diào)控。如果修改MIDI CC的編號為70還可以將該代碼映射到射燈的垂直角度，此過程只需更改一個編號而不需修改設(shè)置端的DMXIP，在即興表演中可以讓表演者更加得心應(yīng)手。

《New Dawn》是依據(jù)多種通信和實(shí)時編程技術(shù)創(chuàng)作出的第一個作品，經(jīng)過實(shí)地表演后它已不再是紙面上的設(shè)想，而是一個切實(shí)可行的方案，因此命名為“New Dawn”希望它能成為電子音樂表演的一種新興的表演方式，打破以往沉悶的音樂會現(xiàn)場。影像與燈光的設(shè)計(jì)來源于日出，使用的橙色與紅色的線條和PAR燈也寓意著曙光的出現(xiàn)。在作品中后段出現(xiàn)的吉他與鋼琴與彩色PAR燈交相呼應(yīng)寓意著各種思想與創(chuàng)意相互碰撞，希望這種交互技術(shù)可以給眾多音樂家們帶來新的思路。

音樂會現(xiàn)場

（三）目前還存在的問題

盡管通過編碼器可以實(shí)時生成和修改信號，但編程仍然是一門難度較大的技術(shù)。與圖形化的編程軟件不一樣的是文字編程通過限定嚴(yán)格的語法保證了信息的傳遞效率，但它也限制了信息的傳遞方式，提高了傳遞信息的難度。讓很多作曲家感到困惑的是在一個沒有圖形與指示的界面里單靠文本說明去聲明信號的傳遞方向，若稍有不慎就會在邏輯上出錯。

其次現(xiàn)行的MIDI信號是上世紀(jì)80年代的產(chǎn)物，它雖然字符量小、傳輸方便、編譯難度小。但是現(xiàn)在都是高精度設(shè)備，所需的數(shù)據(jù)精度高、數(shù)據(jù)流量大。MIDI這種低精度、字符量小的信號已經(jīng)與很多設(shè)備不兼容了。對于MIDI的期待只能放在正在籌備的MIDI2.0上，期望能通過5G這條快車道給MIDI2.0帶來全新的活力。

除人工控制問題外，映射MIDI與DMX512時由于DMX控制器自身設(shè)置的原因，在一個控制器中只能接收64條MIDI通道。雖然可以將一條MIDI通道映射到不同的DMX地址上，但是對于有著多功能且信息量大的燈光設(shè)備來說64條通道完全不夠用。因此項(xiàng)目組計(jì)劃在下一個項(xiàng)目中使用局域網(wǎng)來傳輸MIDI與DMX信號，采用復(fù)路傳輸?shù)姆绞竭M(jìn)一步的探索在網(wǎng)絡(luò)中交互信號的應(yīng)用。

結(jié) 語

本文主要從新媒體角度討論了電子音樂創(chuàng)作與表演方向上的創(chuàng)新與可能性。當(dāng)代音樂已不僅僅是單一的聽覺藝術(shù)，它逐漸走向多元化，多感官協(xié)同音樂將在未來極大的發(fā)展。概念型作品《New Dawn》意在探索MIDI與DMX512在新媒體舞臺上的可能性，使MIDI不再作為一個音樂工具，而是作為一個通信工具再次活躍于舞臺。下一步將把實(shí)驗(yàn)型音樂借助新媒體技術(shù)將它推廣于大眾，就如同從另一個角度考慮MIDI的用法上，實(shí)驗(yàn)性音樂在美術(shù)與雕塑方面有著很強(qiáng)的共鳴能力，它在跨界藝術(shù)及VR、AR方面將有著良好前景。針對本文所提的技術(shù)還有很多問題值得研究與探索，希望藉由此文給眾多作曲家、表演者新的思考與方向。

注釋：

① RCA MARK II：1957年美國無線電聯(lián)盟將可編程音樂合成器RCA MARK I改進(jìn)為II代，允許其使用非官方外部程序，并將音域擴(kuò)展了兩個八度。

② MUSIC N系列語言：由Max Mathews于1957年編寫而成，MUSIC I是第一個通過直接合成生成數(shù)字音頻波形的計(jì)算機(jī)程序。

③ Csound最初由Barry Vercoe基于Max Mathews的MUSIC XI模型。

④ 樹莓派：是基于Linux的單片機(jī)電腦，由英國樹莓派基金會開發(fā)。

⑤ MIDI事件由8位字（通常稱為字節(jié)）組成，這些字以31.25 kbit/s的速率串行傳輸。

⑥ DAW：Digital Audio Workstation數(shù)字音頻工作站。

⑦ 操作碼：即編譯語言中的關(guān)鍵字，如：Function,Core,For。

⑧ 此處樹莓派的編譯器為SuperCollider Server。

⑨ “娛樂技術(shù)-USITT DMX512-A-用于控制照明設(shè)備和配件的異步串行數(shù)字?jǐn)?shù)據(jù)傳輸標(biāo)準(zhǔn)”。

⑩ 在傳統(tǒng)搖頭燈里切換顏色是通過一張有著很多顏色濾鏡的顏色轉(zhuǎn)輪來切換預(yù)制好的顏色，不存在調(diào)色的概念。

? 菊花鏈：任意非相鄰設(shè)備必須通過相鄰的中間設(shè)備鏈接，使信號不會形成網(wǎng)狀的拓?fù)浣Y(jié)構(gòu)，且不會形成環(huán)路。

? MIDICC：MIDI控制事件，用于控制MIDI外設(shè)的連續(xù)控制事件。

? 數(shù)字推子：即軟件中生成的UI推子，用于鼠標(biāo)操控的虛擬控制器。

? 模擬推子：即各類控制器中的觸控推子，用于手動控制的實(shí)體控制器。