徐志博，房大磊，達(dá) 彥

(1.上海師范大學(xué) 音樂(lè)學(xué)院，上海 200234； 2.上海音樂(lè)學(xué)院 音樂(lè)工程系，上海 200031；3.北京達(dá)噠超媒體工作室，北京 101408)

“音樂(lè)新媒體藝術(shù)”是當(dāng)今“新媒體藝術(shù)”(其定義參見(jiàn)文獻(xiàn)[1])廣大范疇中的一個(gè)子類別.相比起其他一些常見(jiàn)的新媒體藝術(shù)形式(如影像、攝影、綜合造型、互動(dòng)裝置、電子游戲、網(wǎng)絡(luò)藝術(shù)等)，其對(duì)于音樂(lè)(聲音)維度的運(yùn)用是顯著的、具有主導(dǎo)性的.這類作品突破了傳統(tǒng)藝術(shù)形式相對(duì)單一、自足的感知維度，而處于一種多維、互動(dòng)的媒介模式之下，這得益于當(dāng)代數(shù)字媒體技術(shù)、藝術(shù)觀念的革新及它們所造就的作品形式架構(gòu).本文將首先從理論上闡釋新媒體藝術(shù)中“媒介”的形式內(nèi)涵，并以此傳播學(xué)視角來(lái)觀察作品中由聲音所引發(fā)的互動(dòng)關(guān)系，分析其成因、構(gòu)成及基本模式.之后的實(shí)例分析則從實(shí)際操作角度，解析具體作品中的交互思維和設(shè)計(jì)步驟，揭示藝術(shù)理念如何通過(guò)相應(yīng)的技術(shù)手段來(lái)實(shí)現(xiàn)，在印證上述理論框架的同時(shí)，也呈現(xiàn)出具體藝術(shù)創(chuàng)作的復(fù)雜性和手法的多元化.

1 音樂(lè)新媒體藝術(shù)中的聲音與媒介

1.1 新媒體藝術(shù)中的媒介

“媒介”(media〈單〉/medium〈復(fù)〉)一詞通常被用來(lái)指代事物傳播交流的中介物，即包含著信息內(nèi)容的形式載體.然而從本體論角度來(lái)看，媒介的形式遠(yuǎn)比其所傳遞的(信息)內(nèi)容重要，或者說(shuō)形式和內(nèi)容凝結(jié)成一個(gè)統(tǒng)一體，即“整體場(chǎng)”(Total Field)，從而應(yīng)驗(yàn)了麥克盧漢(McLuhan)著名的論斷——“媒介即訊息”[2].此處并不嘗試對(duì)這一傳播學(xué)的重大命題進(jìn)行探討，但其對(duì)于媒介內(nèi)涵的詮釋有助于澄清本文所涉的這一基本概念.在當(dāng)今數(shù)字信息時(shí)代的大背景下，原先由不同媒介傳播的感知內(nèi)容： 訴諸于聽(tīng)覺(jué)的聲音、語(yǔ)言、音樂(lè)；訴諸于視覺(jué)的文字、圖書(shū)、圖像、影像；訴諸于其他人體感知的姿態(tài)、動(dòng)勢(shì)、觸覺(jué)、味覺(jué)、嗅覺(jué)甚至復(fù)雜的神經(jīng)運(yùn)動(dòng)等皆可以被轉(zhuǎn)化為信息代碼，而成為某種可復(fù)制、可傳播，通過(guò)轉(zhuǎn)碼又得以再現(xiàn)、重新被感知的媒介形式——“數(shù)字媒介”.數(shù)字媒介增進(jìn)了這些原本并無(wú)直接關(guān)聯(lián)的媒質(zhì)間互通的可能性，并突破了原先“不完整的、支離破碎”的技術(shù)，而使用“新的媒介之后，人們又可以貯存和轉(zhuǎn)換這一切.至于速度的貯存和轉(zhuǎn)換，根本不存在問(wèn)題.在沒(méi)有超越光障之前再?zèng)]有比電速更高的加速度了.”[3]可見(jiàn)，本文所言的媒介，不但包含了傳統(tǒng)媒介概念所承載的相關(guān)形式內(nèi)容，更體現(xiàn)為一種高技術(shù)背景下前所未有的綜合、交融化的媒介模式.

正如麥克盧漢所言，媒介是“人的延伸”，那么委身于各種數(shù)字信息技術(shù)的“新媒體藝術(shù)”無(wú)疑將人類的感知力向前推進(jìn)了一大步.所謂“新媒體藝術(shù)”即傳統(tǒng)藝術(shù)形式的延伸.值得慶幸的是，“新媒體藝術(shù)”雖依賴于數(shù)字信息技術(shù)，但它們并不表現(xiàn)為一排排一列列冰冷的代碼，而終究轉(zhuǎn)化為真切的，可聽(tīng)、可看、可感知的藝術(shù)形式，又正是現(xiàn)代技術(shù)使這一切得以實(shí)現(xiàn).同時(shí)，新的藝術(shù)形式與舊的藝術(shù)形式間存在著較大區(qū)別，是貫穿于整個(gè)藝術(shù)生產(chǎn)、傳播、感知過(guò)程的全方位的模式化差異.原先純?nèi)蝗藶椤C(jī)械性、灌輸型的創(chuàng)作、傳播方式，被代之以自動(dòng)化、有機(jī)性、交流型的數(shù)字媒體技術(shù)手段(雖然原先的方法體系尚無(wú)法完全被替代).技術(shù)對(duì)于新媒體藝術(shù)中媒介模式的形成是決定性的，它不僅僅作為一種工具，還是直接影響創(chuàng)作理念、作品形式構(gòu)成、呈現(xiàn)形態(tài)及感知體驗(yàn)的關(guān)鍵因素所在.因此，作為一種基于新的媒介模式之上的藝術(shù)系統(tǒng)，新媒體藝術(shù)高度依賴技術(shù)，在這里，技術(shù)與藝術(shù)的邊界趨向模糊.套用麥克盧漢的句體，在新媒體藝術(shù)中，媒介即藝術(shù)形式，媒介即技術(shù).

1.2 聲音與媒介的關(guān)系

1.2.1 從屬關(guān)系

在當(dāng)代藝術(shù)領(lǐng)域，各種媒介本身、不同媒介間的關(guān)系已成為藝術(shù)創(chuàng)作的重要資源.在新的媒介模式之下，人的感知系統(tǒng)通常是被全面調(diào)動(dòng)的，諸如“3D音效”、“4D電影”、“5D游戲”常用以標(biāo)示所采用的媒介其形式非同一般.新媒體藝術(shù)突破了傳統(tǒng)藝術(shù)形式相對(duì)單一的感知維度，而代之以多維感知.這些維度間通常是不完全平等的，在一些常見(jiàn)的新媒體藝術(shù)形式中，視覺(jué)媒質(zhì)往往占據(jù)主導(dǎo)(結(jié)構(gòu)層面)，而其他感知維度則相對(duì)為輔.當(dāng)然，為輔并不代表無(wú)足輕重，相反，在這樣一種多維感知的媒介模式中，每個(gè)維度所起到的作用都是并重的.對(duì)藝術(shù)作品的完整感知才是創(chuàng)作者藝術(shù)建構(gòu)的目標(biāo)，這種媒介模式本身就是一種“完型”.在多維感知中，音樂(lè)/聲音通常占據(jù)其中的一維或更多(如在環(huán)繞空間聲場(chǎng)中，聽(tīng)覺(jué)本身已具有多維性).它隸屬于藝術(shù)作品多維的、綜合化的整體媒介模式，同時(shí)又與媒介中的其他感知維度相關(guān)聯(lián).

在本文的論述對(duì)象——音樂(lè)新媒體藝術(shù)中，視覺(jué)的主導(dǎo)被聽(tīng)覺(jué)的主導(dǎo)所替代.這并不影響其媒介模式整體的多維性質(zhì)，但主導(dǎo)性的歸屬還是能體現(xiàn)在作品的結(jié)構(gòu)系統(tǒng)中，也不同程度地表現(xiàn)在建構(gòu)、呈現(xiàn)及感知等層面.但總的來(lái)說(shuō)，無(wú)論是聲音還是音樂(lè)，聽(tīng)覺(jué)媒質(zhì)僅僅是媒介模式中的重要一環(huán)，其不能獨(dú)立于整個(gè)媒介，這或許就是新媒體藝術(shù)作品與傳統(tǒng)音樂(lè)作品的根本差異所在.

1.2.2 聽(tīng)覺(jué)主導(dǎo)性互動(dòng)關(guān)系

聽(tīng)覺(jué)維度在音樂(lè)新媒體藝術(shù)中是不可獨(dú)立的，它從屬于整體的多維媒介模式.同時(shí)，如何能夠?qū)⒁月?tīng)覺(jué)為主導(dǎo)的多維感知有效地捏合在一部作品中，大致可以從兩個(gè)層面來(lái)看.

首先是觀念.觀念使聽(tīng)覺(jué)與其他感知媒質(zhì)及藝術(shù)手法間產(chǎn)生協(xié)同互動(dòng)關(guān)系，這種互動(dòng)不是額外附加的，而是深植于作品結(jié)構(gòu)內(nèi)部，凸顯于其架構(gòu)(理念與形式)以及生產(chǎn)過(guò)程所蘊(yùn)含的整體或局部關(guān)系之中.當(dāng)然，觀念的實(shí)施離不開(kāi)交互技術(shù)、識(shí)別感應(yīng)技術(shù)及相關(guān)軟硬件平臺(tái)的輔助，但決定權(quán)永遠(yuǎn)在人手中，此人既可以是創(chuàng)作者，也可以是演繹者或體驗(yàn)者.“人機(jī)交互”過(guò)程中，人與機(jī)器皆可能成為主動(dòng)的一方，但這一交互機(jī)制的確立，主動(dòng)權(quán)永遠(yuǎn)在人手中，這也是新媒體藝術(shù)尚能稱之為“人類藝術(shù)”的重要原則之一.

與觀念同等重要的是技術(shù).其重要性某種程度上甚至超過(guò)了純粹的觀念，很多情況下，沒(méi)有技術(shù)引領(lǐng)，觀念只能沉睡.“人機(jī)交互”即機(jī)器部分地替代了原先“人”在藝術(shù)生產(chǎn)傳播過(guò)程中的角色，借助機(jī)器，藝術(shù)的生產(chǎn)與傳播過(guò)程中產(chǎn)生的交互(流程)模式，大致可分為3類： (1) 選擇式，指在計(jì)算機(jī)系統(tǒng)支撐下，可根據(jù)愛(ài)好、要求及運(yùn)行使用環(huán)境條件，以人機(jī)對(duì)話的方式對(duì)各種藝術(shù)要素的屬性及重組方式進(jìn)行選擇，產(chǎn)生不同的作品結(jié)構(gòu)和藝術(shù)效果；(2) 推理式，指在計(jì)算機(jī)系統(tǒng)支撐下，可對(duì)創(chuàng)作所需的要素進(jìn)行靈活設(shè)置，并能自動(dòng)按因果關(guān)系、邏輯關(guān)系進(jìn)行推理，計(jì)算出不同條件下的事件和結(jié)果；(3) 自動(dòng)式[智能式]，即對(duì)藝術(shù)作品創(chuàng)作與欣賞過(guò)程進(jìn)行自適應(yīng)、自尋優(yōu)、自學(xué)習(xí)、自組織的一種系統(tǒng)，從而達(dá)到虛擬現(xiàn)實(shí)的感知效果.(相關(guān)理論闡釋亦可參見(jiàn)文獻(xiàn)[4])

新媒體藝術(shù)中的人機(jī)交互形式除了以上3類流程模式外，還體現(xiàn)在交互的主體、交互的內(nèi)容兩個(gè)方面.交互的主體可以是人(創(chuàng)作、演繹、欣賞者)，也可以是機(jī)器(計(jì)算機(jī)或其他軟硬件工具).交互的內(nèi)容即前文所闡釋“媒介”中的感知維度及表現(xiàn)形式.媒介本身是“完型”，即一個(gè)不可拆分的整體.但從結(jié)構(gòu)和操作層面的解構(gòu)、建構(gòu)思維又是必然的，這點(diǎn)與傳統(tǒng)藝術(shù)的創(chuàng)作思維一脈相承.此外，各交互內(nèi)容間存在著類似于傳統(tǒng)室內(nèi)樂(lè)的“重奏”狀態(tài)，不同媒體介質(zhì)間構(gòu)成了“多聲部對(duì)位”，通過(guò)相關(guān)技術(shù)手段、交互模式來(lái)實(shí)現(xiàn)新媒體藝術(shù)所特有的“媒體重奏”.

我們或許可以由此推導(dǎo)出一組并非嚴(yán)謹(jǐn)?shù)膶?duì)應(yīng)關(guān)系： 觀念——交互主體；技術(shù)——交互模式；藝術(shù)形式——交互內(nèi)容.它們皆圍繞音樂(lè)新媒體藝術(shù)的核心——聲音/音樂(lè)(聽(tīng)覺(jué)感知)所展開(kāi)，從而形成了一種以聽(tīng)覺(jué)感知為主導(dǎo)的媒介模式結(jié)構(gòu)(見(jiàn)圖1).旨在讓聽(tīng)覺(jué)內(nèi)容決定視覺(jué)及其他感知內(nèi)容；讓聲音線索主導(dǎo)整體時(shí)間及敘事(若有)脈絡(luò)；讓所使用的數(shù)字媒體及信息技術(shù)手段滿足聽(tīng)覺(jué)為主的感知表達(dá)需求；讓各類技術(shù)所使用的數(shù)據(jù)、程式圍繞與聲音直接或間接相關(guān)的參數(shù)有機(jī)設(shè)置.

2 聲音-媒介交互設(shè)計(jì)實(shí)例

以下將以作者擔(dān)任主創(chuàng)的幾部作品為例，從音樂(lè)新媒體藝術(shù)創(chuàng)作者和交互系統(tǒng)設(shè)計(jì)者的視角，對(duì)這些作品中基于聲音的媒介互動(dòng)設(shè)計(jì)進(jìn)行解析，梳理出一些具有實(shí)際操作性的議題.在揭示相關(guān)作品創(chuàng)作內(nèi)核的同時(shí)，也對(duì)前文的理論歸納加以檢視，以期能實(shí)現(xiàn)該類創(chuàng)作和研究所追求的理論與實(shí)踐接軌，藝術(shù)理念與技術(shù)手段相互間的融匯、轉(zhuǎn)化.

2.1 動(dòng)勢(shì)與聲音的交互

在作品《身體樂(lè)》*《身體樂(lè)》(舞者與電子交互，2011)，首演于“第三屆上海國(guó)際電子音樂(lè)周”.作品創(chuàng)意、音樂(lè)制作、形體設(shè)計(jì)： 徐志博；聲音交互設(shè)計(jì)： 房大磊.中，其媒介模式所包含的主要交互形式是介于作品演繹中的聲音與身體動(dòng)勢(shì)之間的.在感知上，人體的動(dòng)勢(shì)某種程度上則轉(zhuǎn)化為視覺(jué)，從而形成聽(tīng)覺(jué)與視覺(jué)的感知聯(lián)動(dòng).作者運(yùn)用安裝在表演者身上的傳感器來(lái)觸發(fā)、控制和處理聲音，通過(guò)計(jì)算機(jī)程序在動(dòng)作和聲音之間產(chǎn)生緊密的交互關(guān)系，試圖將人體的各種動(dòng)態(tài)、靜態(tài)及心理狀態(tài)予以聽(tīng)覺(jué)轉(zhuǎn)化.作品的聲音-媒介交互是通過(guò)3個(gè)技術(shù)層次來(lái)實(shí)現(xiàn)的，分別是： 輸入(感應(yīng)設(shè)備)、交互界面(數(shù)據(jù)轉(zhuǎn)化及媒質(zhì)轉(zhuǎn)化)、輸出(綜合媒介呈現(xiàn)).

2.1.1 手部感應(yīng)系統(tǒng)設(shè)計(jì)

輸入設(shè)備以手部感應(yīng)設(shè)備為主.主要使用了兩個(gè)“SN-10010”(IMU Analog Combo Board Razor-6DOF Ultra-Thin IMU)傳感器來(lái)分別捕捉演員兩手的運(yùn)動(dòng)狀態(tài)，通過(guò)“陀螺儀”和三軸加速度變化輸出連續(xù)的數(shù)據(jù)來(lái)進(jìn)行聲音樣本的選擇、觸發(fā)和控制.同時(shí)，兩個(gè)“手環(huán)”(見(jiàn)圖2)還分別安裝了一個(gè)接觸式麥克風(fēng)(AKG C411)，從而可以通過(guò)識(shí)別肢體的接觸方式、接觸強(qiáng)度來(lái)進(jìn)行聲音的操控.上述輸入設(shè)備的模擬電壓信號(hào)通過(guò)MIDITron[5]轉(zhuǎn)換成MIDI信號(hào)進(jìn)入電腦交互平臺(tái)Max/MSP*Max是Cycling`74公司生產(chǎn)的圖形化編程語(yǔ)言，其中MSP模塊負(fù)責(zé)音頻信號(hào)處理，Jitter模塊負(fù)責(zé)視覺(jué)圖形處理.Max/MSP平臺(tái)具有高度的靈活性和開(kāi)放性，被廣泛應(yīng)用于各類聲音交互設(shè)計(jì)、聲音數(shù)據(jù)處理、音頻及動(dòng)勢(shì)分析、聲音工程及裝置搭建中..

圖1 以聽(tīng)覺(jué)感知為主導(dǎo)的媒介模式結(jié)構(gòu)Fig.1 The structure of media mode dominated by auditory perception

圖2 自制“手環(huán)”由傳感器面板(IMU SN-10010)和接觸式麥克風(fēng)(AKG C411)組成Fig.2 The DIY hand sensor consists of one IMU board(SN-10010) and one contact microphone(AKG C411)

2.1.2 聲音交互系統(tǒng)設(shè)計(jì)

作品的交互系統(tǒng)根據(jù)作品的結(jié)構(gòu)分為兩大板塊.第一部分，主要通過(guò)識(shí)別演員肢體的各種動(dòng)作方式、強(qiáng)度、持續(xù)時(shí)間、結(jié)束方式來(lái)選擇和控制所對(duì)應(yīng)的聲音樣本回放方式；第二部分，主要通過(guò)演員動(dòng)作的簡(jiǎn)單加速度、速率、關(guān)鍵動(dòng)作來(lái)決定節(jié)奏型樣本的回放方式.其中以前文所述的“選擇”、“推理”交互模式為主，“自動(dòng)”模式僅有局部運(yùn)用.表1羅列了作品中所有重要的“聲音-動(dòng)勢(shì)”交互形式，以大致的時(shí)間先后排序，其中也包含了少數(shù)非手部傳感識(shí)別，以及非交互性的結(jié)構(gòu)內(nèi)容，呈現(xiàn)了作品基本的思維架構(gòu).

表1 聲音-動(dòng)勢(shì)交互機(jī)制

由于作品的整體交互系統(tǒng)相對(duì)復(fù)雜，傳感器也不僅限于手部，交互方式除了身體動(dòng)勢(shì)識(shí)別也還有聲控及手動(dòng)等方式，此處無(wú)法詳細(xì)介紹，其作品設(shè)計(jì)報(bào)告可參見(jiàn)文獻(xiàn)[6].對(duì)觀眾而言，作品最終的呈現(xiàn)結(jié)果表現(xiàn)為一種視覺(jué)認(rèn)知上的人體動(dòng)勢(shì)與聲音結(jié)果間的互動(dòng)關(guān)系，但從具體的交互設(shè)計(jì)內(nèi)容來(lái)看，則完全是與表演者為主體的實(shí)時(shí)身體動(dòng)勢(shì)和臨場(chǎng)選擇相關(guān).因此，該作品媒介模式中的交互主體，應(yīng)當(dāng)是表演者及所使用的整個(gè)計(jì)算機(jī)感應(yīng)交互系統(tǒng).

2.2 影像與聲音的交互

影像(靜態(tài)、動(dòng)態(tài)圖形及視頻)是新媒體藝術(shù)中最為常用的表現(xiàn)手法.影像信號(hào)由相關(guān)交互圖像程序系統(tǒng)(通過(guò)實(shí)時(shí)、預(yù)制與實(shí)時(shí)混合、現(xiàn)場(chǎng)人為交互或自動(dòng))生成，經(jīng)過(guò)數(shù)字或物理方式輸出或投射至屏幕及其他可乘載影像的界面和物體，目前的技術(shù)手段使這一過(guò)程變得十分簡(jiǎn)化、便利.在新媒體藝術(shù)作品的媒介交互設(shè)計(jì)中，聲音與影像間的互動(dòng)已經(jīng)成為運(yùn)用最為廣泛和成熟的作品媒介交互形式.

2.2.1 影像與聲音的交互關(guān)系

影像與聲音間的交互，基本可分為直接交互與間接交互兩類.下面以作品《意鏡》*《意鏡》(音樂(lè)新媒體劇場(chǎng)，2012)，上海國(guó)際藝術(shù)節(jié)委約作品，首演于“2012上海國(guó)際藝術(shù)節(jié)‘上海夢(mèng)’青年藝術(shù)家委約專場(chǎng)”.作品創(chuàng)意、作曲、音樂(lè)制作： 秦毅、徐志博；聲音工程： 房大磊；視覺(jué)藝術(shù)交互設(shè)計(jì)： 達(dá)彥.中的幾個(gè)片段為例來(lái)說(shuō)明.

“直接交互”即聲音與影像內(nèi)容相互間呈緊密的邏輯關(guān)系，交互手段直接作用于聲音及影像內(nèi)容的生成或變化處理之上.音樂(lè)新媒體作品中的直接交互以聲音來(lái)觸發(fā)、控制影像為主.如圖3的場(chǎng)景中，表演者發(fā)出的聲音(主要以喘息、喃喃自語(yǔ)為主)音量作為主要參數(shù)，來(lái)控制側(cè)屏中人影的明暗虛實(shí).與此同時(shí)，作品整體的音樂(lè)動(dòng)態(tài)(音量)變化，則控制著主屏中表演者自身“鏡像”(使用深度攝相機(jī)“Kinect”捕捉表演者的運(yùn)動(dòng)姿態(tài))的形態(tài)、紋理和動(dòng)態(tài).直接交互其同步性是很高的，也能使受眾感受到最為明顯的視聽(tīng)互通.

圖3 《意鏡》現(xiàn)場(chǎng)演出場(chǎng)景1Fig.3 Performance scenes of Mirror Mind 1

“間接交互”即聲音與影像內(nèi)容并非直接產(chǎn)生互動(dòng)關(guān)系，而是經(jīng)由某種中介，并通過(guò)技術(shù)手段及藝術(shù)化處理來(lái)產(chǎn)生相對(duì)復(fù)雜的視聽(tīng)聯(lián)系.有時(shí)，間接交互也會(huì)包含一些直接交互的成分.這部作品中多處使用到間接交互方式，如圖4(a)的場(chǎng)景中.影像與聲音均由表演者的身體動(dòng)勢(shì)觸發(fā)(通過(guò)攜帶在腕部的傳感器，原理基本同2.1.2節(jié))，所觸發(fā)的影像內(nèi)容為變形的漢字(其形態(tài)亦與整體聲音動(dòng)態(tài)互動(dòng))，而聲音內(nèi)容則是夸張的戲曲念白.由于兩者均為隨機(jī)觸發(fā)，故相互間內(nèi)容(念白與文字內(nèi)容)并不完全吻合，但整體上仍具有較強(qiáng)的對(duì)位感，而非機(jī)械的一一對(duì)應(yīng).又如圖4(b)的場(chǎng)景中，表演者靜態(tài)的輪廓(鏡像)通過(guò)“Kinect”捕捉嵌入至動(dòng)態(tài)圖形中，而音樂(lè)與影像整體均呈緩慢的運(yùn)動(dòng)狀態(tài)，整體氛圍和諧統(tǒng)一.不時(shí)有一些高頻段聲音的閃爍使圖像產(chǎn)生如水紋般的漣漪，使影像中表演者的靜態(tài)輪廓時(shí)而清晰、時(shí)而模糊.此時(shí)影像與聲音存在局部的直接互動(dòng)，而重要的是，對(duì)表演者“鏡像”的處理手法使視聽(tīng)內(nèi)容共同呈現(xiàn)出作品所要表達(dá)的意涵——人的外在與內(nèi)在和諧統(tǒng)一.表演者既與影像內(nèi)容構(gòu)成了視覺(jué)上動(dòng)與靜的關(guān)系，又同時(shí)映襯了聲音的動(dòng)靜變化.可見(jiàn)，在以上兩種視聽(tīng)間接交互關(guān)系中，表演者的地位皆作為音樂(lè)與影像內(nèi)容間的中介，但其發(fā)揮的作用又是多樣化的.

圖4 《意鏡》現(xiàn)場(chǎng)演出場(chǎng)景2Fig.4 Performance scenes of Mirror Mind 2

2.2.2 影像交互系統(tǒng)設(shè)計(jì)

如要產(chǎn)生比較復(fù)雜的的交互結(jié)果(不僅僅是單一維度的同步或?qū)?yīng)關(guān)系)，往往需要在“聲音-影像”交互中設(shè)置較多的操控項(xiàng)(自動(dòng)或手動(dòng))，從而使影像內(nèi)容能與音樂(lè)產(chǎn)生有效而豐富的感知呼應(yīng).此處以作品《浮生之歌》*《浮生之歌》(人聲、電子音樂(lè)與交互多媒體，2015)，作為“聲立方·超感官空間”的第四幕，于2015.8.21—30在上海二十一世紀(jì)民生美術(shù)館演出.作品創(chuàng)意、作曲、音樂(lè)制作： 徐志博；視覺(jué)藝術(shù)交互設(shè)計(jì)： 達(dá)彥；聲音工程： 房大磊.中的“表情場(chǎng)景”(作品的小高潮段落，持續(xù)約1′10″)為例，簡(jiǎn)要介紹其影像交互系統(tǒng)的設(shè)計(jì)思路.

作品的影像交互程序使用Max搭建，其中“視覺(jué)效果與運(yùn)動(dòng)屬性模塊”(見(jiàn)圖5)是聲音-影像交互的主要界面.其實(shí)時(shí)接收8個(gè)輸入信號(hào)(6位演員與總音量的音頻信號(hào)及1個(gè)音頻同步MIDI信號(hào)).在交互界面中包含視覺(jué)效果： “色彩-飽和度-亮度”(HSL)，“拖影效果”(Trail)，“模糊”(Blur)以及額外的特殊效果(Extra)；視覺(jué)動(dòng)態(tài)屬性： “三維空間位置”(Pos)，“旋轉(zhuǎn)角度”(Rot)，“大小”(Sacle)，“速度平滑控制”(ease)以及“回放控制”(playback)等.所有的操控項(xiàng)可以同時(shí)被運(yùn)用在單個(gè)視頻和所有視頻(整體影像是由6個(gè)小視頻組合而成的).其中，“速度平滑控制”可以讓參數(shù)變化的起始點(diǎn)產(chǎn)生不同的平滑節(jié)奏，不僅影響運(yùn)動(dòng)屬性的變化，還可以分別影響所有的視效變化.

圖5 視覺(jué)效果與運(yùn)動(dòng)屬性模塊Fig.5 VFX + transformation module

在這個(gè)“表情場(chǎng)景”中，聲音的狀態(tài)經(jīng)歷了從單點(diǎn)至多點(diǎn)、稀疏至稠密、聲音表情逐漸夸張、聲音反差逐漸加大、整體動(dòng)態(tài)逐漸劇烈的累積過(guò)程.而交互影像也試圖呈現(xiàn)相似的發(fā)展形態(tài)，并與聲音產(chǎn)生豐富的“對(duì)話”感.6個(gè)分屏中的影像始終由6位演員的聲音所觸發(fā)，人聲的強(qiáng)度與影像被觸發(fā)的速度和亮度相關(guān)聯(lián)，因此整體影像的節(jié)奏與密度與人聲是保持統(tǒng)一的.隨著聲音的發(fā)展，被觸發(fā)的視頻從初始狀態(tài)逐漸加入運(yùn)動(dòng)效果，包括“三維空間位置”，“大小”(非等比例變形)和“旋轉(zhuǎn)角度”等，人聲的強(qiáng)度也控制著這些位移和變形的強(qiáng)度.此外，所有的視覺(jué)交互參數(shù)都可以通過(guò)手動(dòng)控制面板進(jìn)行干預(yù)，以保證每一次演出的獨(dú)特性.

2.3 燈光與聲音的交互

《浮生之歌》中，不僅包含聲音與影像的交互，還利用了燈光交互手段，從而使作品的視聽(tīng)感知、相關(guān)交互內(nèi)容間的關(guān)系更為豐富.

2.3.1 聲音同步控制燈光強(qiáng)度

圖6 交互燈光效果(演員同時(shí)演唱)Fig.6 Interactive spot lights effect (The performers were singing at the same time)

這一交互手法可以理解為將2.2.1節(jié)中直接交互的影像內(nèi)容替換成燈光.在作品的某些場(chǎng)景中，6位演員的聲音信號(hào)(音量)轉(zhuǎn)化為數(shù)字參數(shù)發(fā)送至燈光交互系統(tǒng)作為輸入信號(hào).在交互系統(tǒng)中通過(guò)一定的強(qiáng)度預(yù)設(shè)，自動(dòng)控制演員上方的定點(diǎn)光束燈的開(kāi)關(guān)、亮度范圍及交互強(qiáng)度.從而形成一種直觀的視聽(tīng)交互效果： 演唱者發(fā)聲，燈光即亮；聲音越強(qiáng)，他/她自己就被照射得越亮(現(xiàn)場(chǎng)效果如圖6所示).而這一簡(jiǎn)單的交互形式也使得燈光的明暗完全與每個(gè)音樂(lè)聲部狀態(tài)相對(duì)應(yīng)，從而形成一種與聲音同步的光的節(jié)奏和織體.

2.3.2 聲音與燈光的空間互動(dòng)

在新媒體藝術(shù)中，建立在“沉浸式”空間中的媒介模式是極為普遍的.燈光作為舞臺(tái)藝術(shù)常用的表現(xiàn)手段，其相比平面、固定空間的影像，具備更強(qiáng)的空間運(yùn)動(dòng)特性.而聲音也同樣具有顯著的空間定位、傳播、運(yùn)動(dòng)特性.利用“環(huán)繞聲”(全息聲*“全息聲”即3D空間聲場(chǎng)，在揚(yáng)聲器足夠多的條件下，理論上可以通過(guò)波場(chǎng)合成技術(shù)做到聲音的空間準(zhǔn)確定位.《浮生之歌》的制作和演出均采用德國(guó)的Iosono聲場(chǎng)操作平臺(tái)(http:∥www.iosono-sound.com/home/).)系統(tǒng)使得聲音與燈光有可能在這一綜合媒介模式中產(chǎn)生獨(dú)特的空間交互效果.

《浮生之歌》的結(jié)束段，演員分散在整個(gè)演出空間中，他們隨性地呼喊，聲音此起彼伏.整體上試圖營(yíng)造一種在巨大空間中，聲音被“拋出”又“散射”至各處的效果.為了達(dá)到這一效果，每個(gè)人聲的擴(kuò)音，均使用多達(dá)10段的延遲效果進(jìn)行處理，每段延遲的音量、延遲時(shí)間、帶通濾波及混響發(fā)送量均為不同的預(yù)制參數(shù).人聲與每段延遲的空間數(shù)據(jù)使用獨(dú)立的隨機(jī)位置，該隨機(jī)位置會(huì)以一定的時(shí)間間隔(默認(rèn)為250ms)生成，并在該時(shí)間間隔內(nèi)移動(dòng)到新的位置(單個(gè)聲音的空間運(yùn)動(dòng)Max程式參見(jiàn)圖7(a)，其中數(shù)據(jù)的初始生成使用了直角坐標(biāo)系，通過(guò)一定程度的控制，轉(zhuǎn)化為極坐標(biāo)系場(chǎng)景)，從而造成了眾多聲音在空間中快速移動(dòng)的主觀聽(tīng)感.

與聲音的空間運(yùn)動(dòng)相對(duì)應(yīng)，此時(shí)的燈光模塊(參見(jiàn)圖7(b))中控制空間運(yùn)動(dòng)的分別是“水平/垂直旋轉(zhuǎn)”(Rot H/V)，同時(shí)還有亮度(Bright)、色彩(Col)等控制參數(shù).其中“旋轉(zhuǎn)”與“亮度”參數(shù)受控于聲音信號(hào)，聲音觸發(fā)燈光的運(yùn)動(dòng)和起亮強(qiáng)度，并一定程度上與聲音的隨機(jī)空間位置參數(shù)相對(duì)應(yīng)，從而形成聲音與燈光在空間中相互“追逐”的動(dòng)態(tài)效果.與此同時(shí)，視覺(jué)藝術(shù)家根據(jù)現(xiàn)場(chǎng)聲音狀態(tài)對(duì)燈光的色彩變化及多燈光間的空間布局、開(kāi)關(guān)狀態(tài)進(jìn)行現(xiàn)場(chǎng)即興操控，以使兩者間的關(guān)系更趨于某種有序的復(fù)雜.因此，該場(chǎng)景聲音與燈光的空間交互效果是基于交互程序(參數(shù)共享)、人為干預(yù)及預(yù)制參數(shù)(隨機(jī)或固定)共同作用下實(shí)現(xiàn)的.

圖7 單個(gè)聲音及燈光空間運(yùn)動(dòng)模塊Fig.7 Spatial motion module of single sound and light

3 結(jié) 語(yǔ)

音樂(lè)新媒體藝術(shù)作品中，聲音元素作為整體媒介模式中至關(guān)重要的部分，其主導(dǎo)性尤其體現(xiàn)在技術(shù)及形式結(jié)構(gòu)層面.音樂(lè)/聲音與其他感知媒質(zhì)及藝術(shù)手法間有著這樣或那樣的協(xié)同互動(dòng)關(guān)系(可以是二元互動(dòng)的也可以是多元互動(dòng)的)，從而使作品的結(jié)構(gòu)能夠圍繞音樂(lè)鋪陳、聲音設(shè)計(jì)所展開(kāi).不過(guò)，在作品整體藝術(shù)形式中，聽(tīng)覺(jué)與其他感知維度、聲音與其他媒質(zhì)載體的關(guān)系又是密不可分的，這應(yīng)拜交互性思維、交互技術(shù)和手法所賜，聲音之于媒介的關(guān)系就如同聽(tīng)覺(jué)之于人類整體感知的關(guān)系，是一個(gè)有機(jī)的整體.

交互機(jī)制作為人類藝術(shù)思維、創(chuàng)作手法的技術(shù)化延伸，通過(guò)交互對(duì)象、交互內(nèi)容、交互模式三重因素的綜合作用產(chǎn)生高度多樣性的藝術(shù)媒介模式，其帶來(lái)的創(chuàng)作空間同樣是巨大的，將藝術(shù)創(chuàng)作思維領(lǐng)入嶄新的境地，即麥克盧漢所言“開(kāi)啟心智的時(shí)代”、“是我們意識(shí)的延伸”[7].然而目前，在這類藝術(shù)作品的實(shí)際創(chuàng)作中，以“人機(jī)交互”為代表的技術(shù)因素固然是核心，但“人”的因素(人的想象力、判斷力、瞬間反應(yīng)、敏感性、隨意性、潛意識(shí)等)以及“非技術(shù)性”(傳統(tǒng))創(chuàng)作手法仍舊發(fā)揮著重大作用.這充分體現(xiàn)了藝術(shù)的人文本質(zhì)屬性及當(dāng)代藝術(shù)形式的復(fù)雜多元特征.對(duì)于藝術(shù)創(chuàng)作者，或許只有一項(xiàng)永恒不變的準(zhǔn)則： 選擇最合適的技術(shù)和方法，達(dá)到最佳的藝術(shù)效果.