世紀(jì)70年代，交互技術(shù)在音樂領(lǐng)域的應(yīng)用引發(fā)了交互式作曲（Interactive Composing）的誕生。這是“一種作曲或音樂即興演奏的方式，計算機軟件介入到實時的現(xiàn)場演奏中，影響或修改音樂”①。從概念的闡述中我們不難發(fā)現(xiàn)這種創(chuàng)作方式區(qū)別于常規(guī)的三個主要特點：音樂的不確定性、互動性和實時性。近四十年來，交互式作曲被大量運用于現(xiàn)場電子音樂演出中，它打破了音樂內(nèi)容的預(yù)置模式，在音樂表演和呈現(xiàn)之間建立起互動的橋梁。

隨著信息時代的到來，數(shù)字技術(shù)的發(fā)展也為藝術(shù)提供了更多跨界的可能性。聲音藝術(shù)可以更為方便地與各種數(shù)字化媒介進行聯(lián)通，與視覺藝術(shù)進行互控。由此，交互式聲音創(chuàng)作的范圍也得到了更為廣泛的拓展，呈現(xiàn)出“人機交互”“機機交互”“視聽交互”三種具有代表性的表現(xiàn)形式。本文從中各選取了一部新銳作曲家于近期創(chuàng)作的作品，通過對創(chuàng)作理念和技術(shù)手段的解析，分別對三種交互環(huán)境中的創(chuàng)作形式進行探討。

一、基于人機交互環(huán)境的音樂形式

（一）概念綜述

“人機交互”的音樂形式最早誕生于交互類電子音樂的現(xiàn)場演出，主要是由演奏員的動作指令（包括器樂演奏動作、歌唱動作、舞蹈動作等多種指令信息）與計算機編程程序之間展開交互。在這種形式中，預(yù)先編寫的程序通過傳感裝置捕捉到演奏動作信息后進行運算和渲染，并生成新的聲音經(jīng)由揚聲器反饋給演奏者以進行下一步交互。

近年來，除專業(yè)音樂會以外，愈來愈受到關(guān)注的還有大量以人機交互為核心的聲音裝置作品。與現(xiàn)場電子音樂演出不同的是，交互式聲音裝置的表演主體由專業(yè)演奏員變?yōu)槠胀ǖ膮⒂^者，其更加注重大眾的參與和體驗。也因此，此類作品在創(chuàng)作的構(gòu)思與方式上與音樂會作品存在較大不同。例如，裝置作品沒有動機的展開、線性的時間發(fā)展邏輯，而大多是以模塊化的形式設(shè)置不同的交互效果，讓觀眾通過互動感知聲音所蘊含的情感與思想。

（二）交互式聲音裝置《凌波I》創(chuàng)作解析

王新宇的《波凌I》是一部基于人機交互環(huán)境的多媒體聲音裝置，該作品首演于2018年10月的裝置系列展演“聲之形”。作者以“凌”表現(xiàn)升騰之意，“波”則體現(xiàn)了中國傳統(tǒng)文化意象中水的形象。作品綜合采用了動作捕捉技術(shù)、計算機圖形技術(shù)、全息膜投影技術(shù)、四聲道計算機聲音處理與回放技術(shù)，使聲音、影像同時在垂直維度中的表現(xiàn)形成為一種對升騰的象征，旨在以新媒體藝術(shù)的角度宏揚中華文化。

在整體的技術(shù)架構(gòu)方面，《波凌I》主要由7個軟、硬件單元構(gòu)成整個多媒體裝置系統(tǒng)。主要包括：動作傳感與捕捉模塊、動作與聽視覺參數(shù)關(guān)聯(lián)與映射程序、數(shù)據(jù)驅(qū)動音頻程序模塊、數(shù)據(jù)驅(qū)動視覺程序模塊、視頻投影模塊、數(shù)字音頻接口和音頻回放設(shè)備。其中，動作傳感與捕捉模塊、視頻投影模塊、數(shù)字音頻接口及音頻回放設(shè)備屬于系統(tǒng)中的獨立硬件模塊，而動作與聽視覺參數(shù)關(guān)聯(lián)與映射等三個程序模塊，全部處于同一多媒體計算機工作站當(dāng)中。

圖一? 《波凌·I》系統(tǒng)結(jié)構(gòu)簡圖

作品通過微軟公司的Kinect 2.0體感攝像頭對體驗者的手勢動作進行捕捉，并將捕捉到的手部位置信息傳送到預(yù)制好的MAX /MSP②程序中。由此，得到一對適用于音樂與視覺參數(shù)控制的X、Y位置坐標(biāo)數(shù)值作為控制實時音樂與視頻生成和處理的原始驅(qū)動數(shù)據(jù)，并同時送入到動作與聽覺、視覺參數(shù)相關(guān)聯(lián)的映射程序模塊中，喚醒音樂程序模塊和視覺程序模塊開始工作，從而引起聽覺與視覺效果的實時變化。

具體來說，在聲音交互部分中，MAX程序在接收到X、Y位置坐標(biāo)源數(shù)值后，會實時生成兩類具有豐富層次的音樂內(nèi)容。第一類是基于電子合成樂器聲源的一些帶有神秘色彩的長線條、和聲性或旋律領(lǐng)奏性聲音以及一些帶有彈撥性質(zhì)、敲擊性質(zhì)的節(jié)奏性聲音;第二類則是數(shù)字音頻采樣庫中的自然聲源，例如不同液體、液滴以及波浪的聲音，以呼應(yīng)作品的主題。作品對X、Y位置坐標(biāo)源數(shù)值的輸出做了加速度判定處理，通過體驗者手部位置的加速度情況而判定當(dāng)前的動作激烈程度，從而劃分出兩種不同的聲音激發(fā)層次。在較為柔和的層次中，實時音頻程序的控制以輕柔的電子鋪底化和聲音層的漸變?yōu)橹?，聲音的明暗、音高、音區(qū)等要素隨著的位置源坐標(biāo)的變化做出相應(yīng)的響應(yīng)和變化。而當(dāng)體驗者的動作較為激烈時，實時音頻程序同樣會切換到相對激烈的音樂模式當(dāng)中，隨機觸發(fā)較為響亮的電子鈴音與打擊樂聲部，以及不同的波浪采樣聲音。

在視覺交互部分中，數(shù)據(jù)驅(qū)動視覺模塊以Jitter程序中的“jit.gl.mesh”物件為核心，通過“jit.noise”與“jit.gen”物件之間的組合，在“jit.world”中利用OPEN GL標(biāo)準(zhǔn)圖形引擎生成一個包含大量粒子點的空間。之后，利用另一組“jit.noise”與“jit.gen”構(gòu)建出一個可以對空間中所有“液粒”形成吸附作用的引力點，通過對“jit.world”引力數(shù)據(jù)和引力空間的重力狀態(tài)進行實時控制和調(diào)節(jié)，形成一種特殊的粒子吸附、升騰與懸浮效果。在此基礎(chǔ)上，整個數(shù)據(jù)驅(qū)動視覺模塊設(shè)置了“有人操控”和“無人操控”兩種工作模式，當(dāng)有觀眾進行參與時，視覺程序中的控制接口會打開，由體驗者接管數(shù)據(jù)控制權(quán)，而當(dāng)裝置的動作識別區(qū)域內(nèi)沒有觀者存在時，程序會自動進入“無人操控”模式，將視覺模塊中的所有顆粒鎖定在空間的“地面”上，形成一汪液體隨機滾動、游弋的效果。

在作品最終的整體呈現(xiàn)層面，音頻輸出的空間定位算法成為至關(guān)重要的一個部分。該算法將視覺模塊中的引力點在二維聲場中進行數(shù)據(jù)映射，得到相應(yīng)的的位置，并根據(jù)位置的坐標(biāo)數(shù)值調(diào)節(jié)四個揚聲器的振幅水平，從而讓聲音的定位變化與視覺引力點的定位變化類似，共同與參觀者的動作產(chǎn)生一種直觀的關(guān)聯(lián)。另外，與視覺模塊類似的是，音頻模塊同樣設(shè)置了有人與無人兩種運轉(zhuǎn)模式。當(dāng)有人參觀時，聲音進入一種由手勢動作驅(qū)動的“演奏”模式，而在無人參與時，則是一種隨機化的氛圍電子音樂生成狀態(tài)。

二、基于“機機交互”環(huán)境的音樂形式

（一）概念綜述

“機機交互”嚴(yán)格來說是在“人機交互”大范疇中發(fā)展出的分支——以數(shù)字化媒介與計算機程序展開交互的模式。得益于當(dāng)前聲音編程環(huán)境的開放性，音樂能夠更加自由地與各種數(shù)字化設(shè)備進行聯(lián)通，從而極大地拓寬了交互媒介的范圍，衍生出基于智能設(shè)備與計算機交互的音樂創(chuàng)作。其中，既有將生活中常見的電子設(shè)備例如智能手機、平板電腦、數(shù)字游戲桿等化身為“交互樂器”實時改變音樂呈現(xiàn)的作品，也不乏藝術(shù)家們根據(jù)創(chuàng)作需要，用自己研發(fā)、設(shè)計并制作的創(chuàng)新數(shù)字媒介進行交互音樂表演的精彩案例。媒介的豐富程度和更新速度令人目不暇接。

“機機交互”創(chuàng)作面臨兩個核心問題;其一為數(shù)據(jù)如何進行映射，其二為如何通過現(xiàn)場肢體表演與聲音形態(tài)建立必要的關(guān)聯(lián)。這兩個問題同樣也是此類創(chuàng)作的技術(shù)實現(xiàn)與審美理念之所在，決定著一部作品的呈現(xiàn)水準(zhǔn)。在傳統(tǒng)聲學(xué)樂器中，無論是弦樂、管樂、打擊樂亦或是鍵盤類樂器，其演奏動作與聲音效果已通過物理的聲學(xué)規(guī)律綁定，因此演奏動作與聲音之間的映射關(guān)系是固定的。但這種情況在新型數(shù)字化媒介中并不存在，因而，在此類創(chuàng)作中，如何為演奏動作與聲音建立映射關(guān)系、建立何種映射關(guān)系成為了創(chuàng)作者首要考慮的問題。

（二）《繩索與聲線之歌》創(chuàng)作解析

《繩索與聲線之歌》是馮金碩為Gametrak控制器而作的交互式電子音樂作品。Gametrak原本是為數(shù)字游戲開發(fā)的一種可以追蹤雙手三維位置的線性數(shù)字媒介。其控制線長達2米，四周伸展面積可達到12.56平方米，能夠讓現(xiàn)場演奏更具表演性。同時，因為具有清晰的拉力反饋便于精準(zhǔn)控制，對演奏的精度有很大的幫助。

該作品的主要創(chuàng)作思路是通過Gametrak控制器實時捕捉演奏者的動作信息，觸發(fā)聲音的合成。創(chuàng)作策略分為演奏形式設(shè)計、演奏動作設(shè)計、數(shù)據(jù)映射設(shè)計三個部分。

在演奏形式方面，表演過程類似于操控3D游戲：演奏者的雙手牽拉控制器的繩索，產(chǎn)生的動作數(shù)據(jù)實時觸發(fā)計算機程序進行聲音合成。這些由計算機合成的聲音模仿了歌唱時的聲腔，仿佛是用雙手“牽拉”出的樂句，既富有藝術(shù)的夸張，又頗具趣味性。

在演奏動作方面，由于動作與聲音表現(xiàn)的契合度將極大地左右觀眾對于作品的理解，因此，動作設(shè)計以及如何與聲音內(nèi)容進行關(guān)聯(lián)是作曲家考慮的重點。在《繩索與聲線之歌》的創(chuàng)作和演出過程中，結(jié)合聲音的表現(xiàn)與控制器的自身特性，作者從三個方面將動作與聲音形態(tài)進行了關(guān)聯(lián)，即：演奏動作的指向決定了音高的上行與下行、演奏動作的幅度和力度變化決定了音樂的響度大小、演奏動作的速度與音樂的節(jié)奏律動相對應(yīng)?；谝陨先N關(guān)聯(lián)，作者在程序中建立了動作數(shù)據(jù)與聲音內(nèi)容的映射關(guān)系，使雙手拉拽繩索的動作能夠?qū)崟r影響和控制聲音合成的參數(shù)，包括音高、包絡(luò)、共振峰等等，從而引發(fā)聲音形態(tài)的實時變化。并且，當(dāng)音樂速度極快或響度很高的時候，將動作幅度適當(dāng)夸大，以加深聲音形態(tài)的表現(xiàn)力。

在數(shù)據(jù)映射策略方面，《繩索與聲線之歌》以“多對一”映射為主，即多個動作參數(shù)共同控制一個聲音合成參數(shù)，各參數(shù)之間構(gòu)成交叉。例如，為了能夠在撥動控制器的牽線時營造一種“撥弦”的效果，作者將撥動牽線時同時獲得的X軸傳感器和Y軸傳感器坐標(biāo)信息映射成為計算機合成“撥弦”聲音的數(shù)據(jù)。并在過程中增加了一個映射中介層，即：將X軸和Y軸的兩個笛卡爾坐標(biāo)系（Cartesian coordinates）的向量轉(zhuǎn)化成極坐標(biāo)（Polar Coordinates）的向量，即r/θ（半徑坐標(biāo)與角坐標(biāo)），再丟棄r數(shù)據(jù)只保留θ數(shù)據(jù)，獲得牽線的離軸角度，從而讓程序理解“撥弦”的動作。

三、基于視聽交互環(huán)境的音樂形式

（一）概念綜述

聲音是一門聽覺藝術(shù)，而人們對于聲音意象的感知卻在一定程度上依賴于視覺經(jīng)驗。無論是樂器演奏、人聲歌唱、交通工具的鳴響、動物的鳴叫等諸多能夠傳遞信息的具象聲音，還是那些不以承載和傳遞信息為目的的抽象聲音，對于其意象的理解往往都需要結(jié)合對視覺感官的聯(lián)想。例如用“顆粒性”去想象時值短促的聲音，用“線性”去想象長時值的聲音等。這種基于形態(tài)與空間上的所謂視聽連覺的通感，成為視聽交互創(chuàng)作中聲音意象可視化的實現(xiàn)路徑，讓“無形”的聲音變得“有形”。

“視聽交互”創(chuàng)作包含了視覺影像與聲音藝術(shù)兩種元素，視聽內(nèi)容均由計算機編程環(huán)境實時生成，通過數(shù)據(jù)的交換進行聯(lián)動與互控。其打破了傳統(tǒng)視聽結(jié)合形式中視覺媒體與聲音媒體各自“封裝”的狀態(tài)，使兩種媒體互為主從，以“聲音”可視化和“視覺”可聽化的形式相互實現(xiàn)增值。因此，在此類創(chuàng)作中，視覺形象與聲音形態(tài)的關(guān)聯(lián)性顯得尤為重要，如何讓聲音意象與視覺形象相互契合成為創(chuàng)作的核心之所在。

（二）《造物者的贊美詩》創(chuàng)作解析

《造物者的贊美詩》是馬仕驊創(chuàng)作的一部三段式視聽交互作品，作品的核心思想體現(xiàn)的是作者對于人類與數(shù)字世界之間關(guān)系的思考。其中的視覺影像與音頻部分均通過Max編程環(huán)境實時演算生成。從微觀角度來看，雙方互相影響對方的效果呈現(xiàn)，但從宏觀角度出發(fā)，整體的變化規(guī)則卻掌握在表演者手中，以此為“造物”點題。

1. 聲音材料的構(gòu)成與組織方式

由于作品意圖討論人性與數(shù)字世界之間的關(guān)系，因此在聲音材料的選擇方面，作者希望能夠體現(xiàn)出兩種層次的對立與融合。全曲的聲音素材共分成兩大類：由正弦波、白噪聲等聲音信號為基礎(chǔ)的合成聲用來預(yù)示“數(shù)字世界”，“造物者”的主題源于四個樂句的女聲吟唱，使用了教會調(diào)式和較為宣敘性的旋律。

在完整呈示人聲材料后，其自然的聲音特質(zhì)逐漸開始受到電子化處理手段的影響，開始逐漸向著抽象化的電子合成聲音特質(zhì)靠攏。經(jīng)過兩個段落的發(fā)展，逐漸與電子化的背景融為一體，以此隱喻人類所處的現(xiàn)實世界與數(shù)字虛擬世界的逐漸融合所帶來的的人性迷失。值得一提的是，為了深入表現(xiàn)出從自然聲到電子聲的過渡，作者使用了“交叉合成”（Cross-Synthesis）③的手法，將人聲材料的頻譜信息進行實時分析，并將其緩慢加入到以振蕩器為基本工具的電子聲合成程序當(dāng)中。

2.影像表現(xiàn)特征與視聽結(jié)合手法

作品的影像材料同樣采用了寫實素材與抽象素材的結(jié)合，并通過實時控制完成二者間的平滑過渡，過渡變化的幅度由聲音部分的振幅、合成聲調(diào)制幅度等數(shù)據(jù)控制，從而達成視聽媒體間的緊密結(jié)合。影像內(nèi)容主要基于面部建模、粒子和立方體三個主要模塊變形發(fā)展而成，其中大部分影像模塊的效果變化都受到了聲音信號不同程度的影響。同時，兩者之間也存在著明顯的關(guān)聯(lián)，這種關(guān)聯(lián)主要體現(xiàn)在影像素在與聲音素材在整部作品的結(jié)構(gòu)分布中相互對應(yīng)，在形態(tài)特征的表現(xiàn)上互相參考。

3.《造物者的贊美詩》所體現(xiàn)的視聽關(guān)系分析

第一，宏觀視聽關(guān)系分析

從作品的宏觀方面來說，影像部分與聲音部分均顯現(xiàn)出純粹極簡、抽象化的總體形象。為了使作品更加清晰有序，作者對聲音與影像的交互邏輯進行了精心設(shè)計，音頻模塊與視頻模塊在各個段落中的對應(yīng)關(guān)系以圖表方式進行歸納如下（未出現(xiàn)對應(yīng)的部分用“X”符號代替）：

從上表能夠看出，為了讓畫面的景別關(guān)系更加清晰，作者基于視聽動態(tài)結(jié)合設(shè)計了功能區(qū)分。在大多數(shù)情況下，音視頻模塊之間相互對應(yīng)，確保影像與聲音呈現(xiàn)之間保持深層次的互動。在少數(shù)情況中，音視頻模塊暫時分割，視頻模塊單獨作為背景構(gòu)圖，沒有與聲音關(guān)聯(lián)，反之亦然。這樣的現(xiàn)象大多出現(xiàn)在內(nèi)容密集的段落，如在高潮段落三中，由于此時音樂與視頻變化的節(jié)奏已非常快，作者有意識地讓音頻模塊C產(chǎn)生的持續(xù)鐘鳴音脫離同步關(guān)系，獨立存在于背景當(dāng)中?？梢娮髡咴谔幚韮煞N媒體交互的邏輯時較多考慮了聲音的顯形比例與二者之間的整合關(guān)系，從而使作品中的聲音意象在影像中的傳遞更合乎邏輯性。

第二，微觀視聽關(guān)系分析

從微觀設(shè)計來說，《造物者的贊美詩》中聲音與影像的結(jié)合邏輯主要與視聽聯(lián)覺的原理相關(guān)，具體體現(xiàn)在三個方面：

從聲音形態(tài)與造型要素來看，由于聲音部分大量碎片化的人聲、噪聲、脈沖低音等在總體聽感上都具有明顯的“粒子特性”，并且大多以顆粒集群的方式呈現(xiàn)，所以作者在視覺影像中同樣選用了許多點狀素材進行構(gòu)圖，將碎片化特征體現(xiàn)在視覺上。而這些素材的變化通過程序設(shè)計能夠與聲音信號通過數(shù)據(jù)映射來保持同步，使視聽雙方在形態(tài)方面能夠更好的契合。

從聲音音色感受與影像色彩要素來看，作品將二者保持了相當(dāng)?shù)慕y(tǒng)一性。整部作品的視覺空間與其中的內(nèi)容全部采用單色呈現(xiàn)，黑白兩色分別用于背景與前景內(nèi)容，通過相互調(diào)換，帶來光影關(guān)系的劇烈變化，增強了段落間的對比，營造出視聽表現(xiàn)的張力。

從聲音空間與視覺空間的結(jié)合角度看，作者通過調(diào)整聲像位置與混響比例在聽覺空間中形成了聲場的的遠、中、近景，并通過視覺空間中的景別關(guān)系加以呈現(xiàn)。這樣的安排使雙方的空間層次都十分清晰，當(dāng)前處于主體位置的視聽材料能夠同步突出，不同層次的關(guān)系也能夠相互得到更為直觀的表現(xiàn)。

結(jié) 語

交互式音樂創(chuàng)作是一個高度綜合的廣闊領(lǐng)域，它涵蓋了多維感官與多重媒體的內(nèi)容，既是創(chuàng)作形式的創(chuàng)新，也是演奏形式和體驗形式的創(chuàng)新。依托于快速發(fā)展的交互技術(shù)和不斷演進的各種新型數(shù)字媒介，創(chuàng)作者們將聽覺藝術(shù)的維度不斷向外拓展，與各類藝術(shù)元素進行融匯貫通，并在一定范圍內(nèi)增加內(nèi)容的隨機性，使得形式更加豐富。我們能夠預(yù)見到的是：交互式音樂富有希望與前景，同時也充滿了未知與挑戰(zhàn)，而這些無窮的變化和不確定性也正是它的價值與樂趣之所在。在視聽媒體高度發(fā)展、音樂與科技深度融合的趨勢下，我們可以期待它更為有趣和智能化的未來。

這種方法最早出現(xiàn)于法國作曲家讓·克勞德·里賽特（Jean Claude Risset）等一系列作品當(dāng)中，對于電子音樂創(chuàng)作中的

材料平衡與過渡問題提出了極佳的解決方案。

[基金項目：本文為2018年中央高?；究蒲袠I(yè)務(wù)費專項資金“交互式聲音設(shè)計研究”（項目批準(zhǔn)號2018NTSS53）、2018年國家社科基金藝術(shù)學(xué)重大項目“中國數(shù)字新媒體藝術(shù)創(chuàng)新研究”（項目批準(zhǔn)號18ZD12）的階段成果]

趙曉雨? 北京師范大學(xué)藝術(shù)與傳媒學(xué)院講師，中央音樂學(xué)院電子音樂作曲博士? ? ? ? ?（責(zé)任編輯? 張萌）