韓金昊 / 楊萬鈞

引 言

中國傳統(tǒng)樂器是中華音樂文化的重要載體，幾千年的音樂文化所積淀留存的結(jié)晶造就了：“金石土革絲木匏竹”八類樂器，其中廣為人知的“笙”屬于“竹”類樂器。笙最早可以追溯先秦史書《世本》中的“女媧作笙簧，伏羲造琴瑟”，具有悠久的發(fā)展歷史。據(jù)考證，笙在春秋戰(zhàn)國時(shí)期最為鼎盛，這一時(shí)期笙既能參與管樂隊(duì)的合奏又能單獨(dú)演奏，在隋唐后期又逐漸演變出笙樂隊(duì)的管樂齊奏。到了近代后，西洋樂器在國內(nèi)被廣泛接受，有著成熟的調(diào)性和聲體系與完整音色規(guī)劃的西洋管弦樂隊(duì)涌入中國文化圈，擠壓著中國傳統(tǒng)樂器的地位。笙作為一件音色個(gè)性較強(qiáng)、頻譜過于規(guī)律的民族樂器，在與多種樂器合奏時(shí)不易形成協(xié)和感，在規(guī)?；臉逢?duì)編制中錯(cuò)失了發(fā)展時(shí)機(jī)。但隨著時(shí)代與技術(shù)發(fā)展，新媒體交互理念給了笙一個(gè)新的發(fā)展機(jī)會(huì)。笙的音色由于頻譜分布規(guī)律，因此更容易調(diào)制出富有特色的聲音。其音響具有高頻的穿透力和中頻的柔和感，在有著鮮明特征的新媒體電子音樂①中很適合作為交互對(duì)象。

本文將以筆者創(chuàng)作的新媒體交互作品《幻·翼》為例（2020 年紐約虛擬電子音樂節(jié)入圍作品），闡述笙作為中國傳統(tǒng)樂器如何參與到新媒體交互創(chuàng)作之中。

一、研究背景與目標(biāo)

近些年新媒體交互作品在社會(huì)上初露尖角，愈來愈多的交互概念出現(xiàn)在各大展演作品中，從早期的音樂噴泉到近期的VR、AR，都有交互概念的體現(xiàn)。此類技術(shù)在國內(nèi)國際受到極大的關(guān)注，但目前在國際上大部分的交互式作品或展演中使用的都是西洋樂器或噪聲樂器，很少有中國本土傳統(tǒng)樂器出現(xiàn)。因此筆者在創(chuàng)作中選用笙作為交互對(duì)象，結(jié)合實(shí)時(shí)編碼技術(shù)，在實(shí)時(shí)影像生成軟件和聲音合成系統(tǒng)上創(chuàng)作，最終以新媒體音樂的形式為現(xiàn)代笙作品帶來一個(gè)新的面貌。

自20 世紀(jì)以來，現(xiàn)代音樂、先鋒實(shí)驗(yàn)派音樂逐漸興起，其改造傳統(tǒng)作曲技術(shù)并打破傳統(tǒng)作曲理念的思想引起了全球的實(shí)驗(yàn)熱潮。從早期的具體音樂、純電子音樂到后期的計(jì)算機(jī)音樂及經(jīng)電子手段處理的交互音樂，作曲技術(shù)的創(chuàng)新使得一些新穎的作曲思想與觀念融入作曲家的創(chuàng)作中，作曲技術(shù)的進(jìn)步使得生活中隨處可見的聲源都有可能改造出一個(gè)極具特點(diǎn)與內(nèi)涵的聲音，而新媒體音樂則是在此基礎(chǔ)上綜合了各種音樂與表現(xiàn)媒介的新興音樂藝術(shù)。這種兼具有多種媒體藝術(shù)的音樂形式對(duì)于笙來說，是一個(gè)新的發(fā)展機(jī)遇。

筆者在本科階段學(xué)習(xí)研究了能夠?qū)崟r(shí)編寫聲音信號(hào)合成代碼的人機(jī)交互技術(shù)——Live Coding（實(shí)時(shí)編碼）。該技術(shù)在進(jìn)行實(shí)時(shí)聲音合成時(shí)可同時(shí)收發(fā)MIDI 信息，在新媒體電子音樂中具有良好的表演性和兼容性。該技術(shù)與實(shí)時(shí)影像生成技術(shù)相結(jié)合，在表演時(shí)通過映射聲音信號(hào)來實(shí)時(shí)生成影像，由表演者依據(jù)現(xiàn)場(chǎng)情況實(shí)時(shí)修改算法與程序，以達(dá)到音樂與多種媒體的有效融合。

二、實(shí)時(shí)聲畫交互技術(shù)在《幻·翼》創(chuàng)作與表演中的應(yīng)用

（一）《幻·翼》的聲音合成技術(shù)基礎(chǔ)

Live Coding 原意是在現(xiàn)場(chǎng)表演實(shí)時(shí)編譯代碼來控制程序，在音樂作品中常用于在現(xiàn)場(chǎng)實(shí)時(shí)編寫聲音合成代碼以實(shí)時(shí)生成音樂。該技術(shù)的一大亮點(diǎn)就是在現(xiàn)場(chǎng)實(shí)時(shí)公開編寫的操作碼②，并根據(jù)現(xiàn)場(chǎng)狀況調(diào)整算法，以達(dá)到在表演中與觀眾互動(dòng)的目的。

筆者在創(chuàng)作《幻·翼》時(shí)采用真實(shí)樂器作為聲源，通過現(xiàn)場(chǎng)編寫效果器鏈③來對(duì)聲音進(jìn)行處理，從而達(dá)到對(duì)音樂素材的鞏固與發(fā)展。在對(duì)效果器鏈進(jìn)行實(shí)時(shí)調(diào)整時(shí)，遵循步進(jìn)或?qū)χ脕肀憩F(xiàn)作品的沖突感。該手法需要在編碼過程中快速執(zhí)行多個(gè)操作碼并保持其在時(shí)間上的連貫性與穩(wěn)定性，對(duì)此需要引入自定義函數(shù)以簡化操作流程。用自定義函數(shù)封裝大段的執(zhí)行過程及算法，可以使其被字符量較少的變量④來調(diào)用，進(jìn)而快速轉(zhuǎn)換效果器類型及其調(diào)制參數(shù)。被自定義函數(shù)封裝過的代碼塊可以在不同buffer 中以變量的方式調(diào)用，自定義函數(shù)中插入的臨時(shí)變量可以將變化的參數(shù)傳遞到函數(shù)里，實(shí)時(shí)的對(duì)其控制和處理。在下例中可以使用變量f 對(duì)自定義函數(shù)test 進(jìn)行參數(shù)調(diào)制，并執(zhí)行輸出a：

使用自定義函數(shù)可以實(shí)現(xiàn)用很少量的字符調(diào)動(dòng)大段的代碼，減輕在實(shí)時(shí)編寫代碼時(shí)的操作量。除此之外，將循環(huán)結(jié)構(gòu)與算法結(jié)合后可以生成插值，增強(qiáng)在效果變化時(shí)的平滑感。例如要調(diào)整混響量（reverb）來產(chǎn)生由近到遠(yuǎn)的深度變化，需要將混響時(shí)間以對(duì)數(shù)變化的方式由短增加到長。此類對(duì)數(shù)變化在生成時(shí)可建立以下對(duì)數(shù)模型，通過輸入集合a，函數(shù)test_exp 在1s 內(nèi)自動(dòng)生成10 個(gè)對(duì)數(shù)值va：

通過上例可以在可控范圍內(nèi)使效果的變化變得平滑，但效果器是有限制的，不可能完全替代樂器的演奏法，這時(shí)就需要一種交互方式可以讓操作者與表演者進(jìn)行單向溝通。在表演過程中，操作者與樂器表演者相互校準(zhǔn)時(shí)鐘是一件困難的事情，為了在調(diào)用代碼塊的同時(shí)又能明確傳遞給樂手段落時(shí)間信息，筆者在代碼塊設(shè)計(jì)中插入了MIDI 信息作為時(shí)間標(biāo)記，用MIDI 信息觸發(fā)段落標(biāo)簽并將該信息傳遞給演奏員，提示演奏員表演的進(jìn)度。在Live coding 中編譯MIDI 信息是一件很容易的事情，下例就是一個(gè)MIDI 信息的編譯：

該組信息代表作品的一個(gè)段落，由e3 音高的觸發(fā)代表段落開始，e3 音高的關(guān)閉代表段落結(jié)束。MIDI 信號(hào)作為一個(gè)段落的標(biāo)記時(shí)可以在系統(tǒng)中可映射為指示燈事件，在進(jìn)行交互時(shí)以不同顏色示意演奏員段落進(jìn)行情況。

（作品《幻·翼》演出現(xiàn)場(chǎng)）

（二）《幻·翼》的聲音設(shè)計(jì)

《幻·翼》全曲分為4 段，“起、雨、爭、翔”四段對(duì)應(yīng)“起、承、轉(zhuǎn)、合”傳統(tǒng)概念，同時(shí)融合西方曲式結(jié)構(gòu)的對(duì)比并置和模仿級(jí)進(jìn)。表演時(shí)采用現(xiàn)場(chǎng)表演和實(shí)時(shí)交互的綜合呈現(xiàn)方式，使用電子技術(shù)對(duì)現(xiàn)場(chǎng)演奏的聲音進(jìn)行拾取變形，最后將聲音信號(hào)按比例混合輸出到調(diào)音臺(tái)，實(shí)現(xiàn)聲音的藝術(shù)化處理。

筆者在設(shè)計(jì)聲音合成結(jié)構(gòu)時(shí)采用實(shí)時(shí)編碼的效果器鏈，實(shí)時(shí)對(duì)拾取的聲音進(jìn)行變形及調(diào)制。在聲音處理時(shí)，筆者常用以下的嵌套方式實(shí)現(xiàn)效果器鏈的構(gòu)成：

以上為《幻·翼》的效果架構(gòu)之一，用嵌套的方法將echo 處理過的信號(hào)再經(jīng)reverb 處理，從而在保證空間縱深感統(tǒng)一的前提下模糊聲音的聲像。此手法是模仿哈斯效應(yīng)去模糊音效的聲像，并根據(jù)效果器的排列和現(xiàn)場(chǎng)的聽覺去控制參數(shù)，因此筆者在設(shè)計(jì)程序時(shí)留下許多變量，以方便在表演時(shí)進(jìn)行修改。

上例是作品變量設(shè)計(jì)的基本思想之一，通過預(yù)留出足夠的變量，得以在表演中實(shí)時(shí)對(duì)效果器的參量進(jìn)行修改，對(duì)聲音的深度進(jìn)行調(diào)制。上例中mix: (b/c)*100即為一個(gè)簡單的算式，通過預(yù)先計(jì)算出的干濕比范圍給定可變化比例，用以維持信號(hào)輸出的比例。

除此之外本作品還使用到諸如減法合成、粒子合成、效果切片等等技術(shù)，但由于篇幅限制不在此贅述。

（三）《幻·翼》的視覺設(shè)計(jì)

筆者在設(shè)計(jì)《幻·翼》這個(gè)主題之初就已對(duì)其表現(xiàn)的場(chǎng)景進(jìn)行了簡要的設(shè)計(jì)。在視覺形式上參考了中國水墨畫意境與風(fēng)格特點(diǎn)，以圓潤交融的圖形變化展現(xiàn)笙與新媒體藝術(shù)在內(nèi)涵上的統(tǒng)一，以色彩對(duì)立展現(xiàn)出雙方在形式上的對(duì)立，渲染出兩者相輔相成但又相互獨(dú)立的氣氛。

《幻·翼》的視覺設(shè)計(jì)使用了實(shí)時(shí)影像生成系統(tǒng)“Magic”，該系統(tǒng)可以將聲音通過算法轉(zhuǎn)換成視覺影像。Magic 系統(tǒng)采用開放式排布設(shè)計(jì)，采用圖形化編輯的界面，可以讓作者通過連接功能模塊和信號(hào)通路來處理信號(hào)流，并最終通過運(yùn)算合成出影像。該系統(tǒng)中的每個(gè)功能模塊都可設(shè)定與聲音相映射的算法，這使得聲音細(xì)節(jié)在與影像映射時(shí)變得更加易于對(duì)位并且更有邏輯性。

在該系統(tǒng)中筆者以基本幾何圖形為基礎(chǔ)，使用動(dòng)態(tài)捕捉、定幀、鏡頭移動(dòng)切換等方式處理出各種漸變的影像，使其按照旋律的發(fā)展產(chǎn)生形態(tài)變化，根據(jù)頻率的分布產(chǎn)生顏色變化。實(shí)時(shí)處理的方式同上文的實(shí)時(shí)聲音處理一樣，使用可控的算法設(shè)計(jì)每個(gè)效果器的變化方式和速度，用MIDI 信息校準(zhǔn)聲音與影像的時(shí)鐘。

《幻·翼》視覺設(shè)計(jì)主要來源于聲音素材的振幅與頻率變化，這些變化的原始數(shù)據(jù)通常不能直接驅(qū)動(dòng)從而形成良好的視覺感受，因此必須要使用特定算法對(duì)其進(jìn)行調(diào)控。以效果器“RGBA”為例，該模塊可對(duì)其上游音頻數(shù)據(jù)的RGBA 通道信息進(jìn)行算法控制，其R、G、B、A四個(gè)參數(shù)分別可添加獨(dú)立算法，使其針對(duì)聲音的不同層次進(jìn)行獨(dú)立映射與變化。在該效果器設(shè)計(jì)映射筆者常加入了“hold”算法對(duì)其進(jìn)行保持和穩(wěn)定，使其能夠流暢變化而不雜亂，同時(shí)使用“scale”參數(shù)對(duì)其值域進(jìn)行縮放控制，以獲得足夠的對(duì)比度。

（作品《幻·翼》中的視覺色彩層設(shè)計(jì)片段）

在整體視覺效果設(shè)計(jì)時(shí)筆者仍然按照鏈狀進(jìn)行嵌套，即第二順位效果是嵌套在第一個(gè)效果之中的，以此連接形成一個(gè)效果鏈。該種效果鏈的模式在視覺生成方面極大的簡化了數(shù)據(jù)聯(lián)動(dòng)的模型，使得效果器之間不需要添加單獨(dú)線程進(jìn)行控制。

Magic 在進(jìn)行聲音映射時(shí)可以選擇信號(hào)源，即可讓一個(gè)效果參數(shù)在不同信號(hào)源間切換，或讓同一信號(hào)源映射多個(gè)效果參數(shù)。《幻·翼》這個(gè)作品是筆者在傳統(tǒng)樂器與新媒體交互音樂中的初次嘗試，因此在映射參數(shù)時(shí)采用了聲音的分層映射，在作品的部分段落中由多層聲音綜合映射。在分層映射中，多組聲音數(shù)據(jù)分別控制影像的多組算法，進(jìn)而分割影像的變化方式，表現(xiàn)出既綜合又分離、既統(tǒng)一又獨(dú)立的矛盾感，加深其藝術(shù)化的表現(xiàn)特征，深化其電子音樂與傳統(tǒng)樂器在內(nèi)容上統(tǒng)一但形式上對(duì)立的本質(zhì)。

結(jié) 語

作品《幻·翼》是筆者首次嘗試結(jié)合中國傳統(tǒng)樂器和新媒體技術(shù)，運(yùn)用現(xiàn)代作曲技術(shù)所創(chuàng)作的實(shí)時(shí)音樂交互作品，旨在結(jié)合多種媒體制作平臺(tái)和宿主、協(xié)同多系統(tǒng)創(chuàng)作、測(cè)試并建立各個(gè)系統(tǒng)間的接口。此作品在創(chuàng)作時(shí)通過和樂手的協(xié)調(diào)與配合得以獲得更好的音色，并尋找笙在現(xiàn)代技術(shù)下的各種創(chuàng)作可能性，以增強(qiáng)對(duì)現(xiàn)代音色的感知能力與審美能力。

經(jīng)過測(cè)試與調(diào)整，《幻·翼》所使用的“聲—畫—控”三端合成系統(tǒng)可以長期使用并移植到其他作品上。該系統(tǒng)以實(shí)時(shí)的聲音信號(hào)合成與視覺材料生成為主，兼顧算法與手動(dòng)控制，在創(chuàng)作其他作品時(shí)只需調(diào)整算法框架即可快速應(yīng)用。其控制端采用的實(shí)時(shí)編碼控制方式可以兼容預(yù)制生成和現(xiàn)場(chǎng)創(chuàng)作，既可以現(xiàn)場(chǎng)拾音也可以實(shí)時(shí)合成信號(hào)，在作品創(chuàng)作上提供了多種可能性。

（作品《幻·翼》中的信號(hào)邏輯圖）

此次對(duì)樂器與新媒體系統(tǒng)交互的研究拓展了筆者對(duì)于新媒體藝術(shù)形態(tài)的視野，獲得了更多對(duì)于音樂與視覺方面的實(shí)踐經(jīng)驗(yàn)，并建立一套可持續(xù)改進(jìn)與發(fā)展的系統(tǒng)。筆者所建立的系統(tǒng)利用軟件間的傳輸協(xié)議在聲音與畫面交互方面構(gòu)建了交互接口，以簡單的控制方法控制作品效果，不過還存在很多問題。目前技術(shù)所支持聲音信號(hào)在軟件中的解析能力太小，僅能解析出少量數(shù)值組，雖然軟件提供了多種算法，但依然不足以展現(xiàn)作品表現(xiàn)力，在未來的調(diào)試與開發(fā)中仍需要尋找能夠深度解析聲音的工具。視覺信號(hào)在生成時(shí)聲音信號(hào)雖然能起到調(diào)控作用，但對(duì)音頻信號(hào)的變化的閾值過于固定，使得視覺素材變化過快，在一般創(chuàng)作中需要使用算法對(duì)其進(jìn)行限制，不能充分發(fā)揮其作用。這些缺陷將在未來的研究中逐步分析并解決，以創(chuàng)作出有更好兼容性的新媒體創(chuàng)作系統(tǒng)。

注釋：

① 新媒體藝術(shù)是一種以光學(xué)媒介和電子媒介為基本語言的新藝術(shù)學(xué)科門類。新媒體電子音樂是其屬下一音樂特化分支學(xué)科。

② 操作碼為計(jì)算機(jī)語言中所規(guī)定執(zhí)行命令的部分指令或字段。

③ 在聲音合成中，效果器呈鏈狀首尾相接的一種排布方法。

④ 變量是計(jì)算機(jī)語言中能儲(chǔ)存計(jì)算結(jié)果或能表示值的抽象概念。