韓金昊/楊萬(wàn)鈞

引 言

2019年起，受新冠疫情（COVID-19）影響，全球各大音樂演出機(jī)構(gòu)不得不停止線下演出，轉(zhuǎn)而以虛擬音樂會(huì)形式在線進(jìn)行音樂表演。不過受技術(shù)條件與客觀網(wǎng)絡(luò)質(zhì)量影響，直播平臺(tái)為保證流暢的信號(hào)傳輸，都會(huì)對(duì)音視頻信息進(jìn)行壓縮，而有損壓縮算法會(huì)對(duì)信號(hào)質(zhì)量產(chǎn)生無(wú)法還原的失真及數(shù)據(jù)丟失。另一方面，直播和在線會(huì)議平臺(tái)不對(duì)參與者的聲音信號(hào)進(jìn)行強(qiáng)制同步校驗(yàn)，使得在同一直播間或會(huì)議室的數(shù)個(gè)參與者間會(huì)產(chǎn)生不同長(zhǎng)度的信號(hào)延遲，用于音樂表演其質(zhì)量會(huì)受到嚴(yán)重影響。

在音樂創(chuàng)作方面，作曲家在使用網(wǎng)絡(luò)會(huì)議時(shí)很難和演奏員流暢的交流，音頻質(zhì)量也達(dá)不到演奏標(biāo)準(zhǔn)，使得在創(chuàng)作時(shí)受到極大影響。盡管市場(chǎng)上有一些成熟的商業(yè)音頻傳輸系統(tǒng)，但能滿足線上音樂表演需求的均價(jià)格不菲，因而許多作曲家和工程師都在努力探尋一種能夠在保證音頻質(zhì)量的情況下，低成本、高質(zhì)量的傳輸音頻數(shù)據(jù)的技術(shù)方案。

本課題是在疫情造成社會(huì)生產(chǎn)受到極大影響，作曲家和表演藝術(shù)家堅(jiān)持在困難條件下繼續(xù)音樂創(chuàng)作和表演的背景下提出的。筆者和團(tuán)隊(duì)成員針對(duì)相關(guān)問題與技術(shù)，檢索并梳理了大量相關(guān)文獻(xiàn)，對(duì)部分理論和技術(shù)進(jìn)行研究實(shí)驗(yàn)，尋找可能的解決方案，通過本文向具有相關(guān)需求的讀者進(jìn)行介紹。

一、商業(yè)化網(wǎng)絡(luò)音頻傳輸系統(tǒng)

（一）線上虛擬音樂會(huì)

十多年前，網(wǎng)絡(luò)音頻傳輸是一項(xiàng)比較復(fù)雜的技術(shù)，要實(shí)現(xiàn)虛擬線上音樂會(huì)通常需要很高的經(jīng)濟(jì)和技術(shù)成本，例如自2010年開始的Eric Whitacre虛擬合唱團(tuán)，在三年內(nèi)實(shí)現(xiàn)了從185人到4000人的線上合唱表演，參與者遍布全球73個(gè)國(guó)家，在虛擬線上音樂會(huì)中留下了濃墨重彩的一筆。但他所構(gòu)建的網(wǎng)絡(luò)通訊系統(tǒng)十分龐大，運(yùn)行成本很高，同時(shí)還需得到通信贊助商的支持，因此在完成第三次虛擬合唱音樂會(huì)后便不再舉行。

近年來(lái)網(wǎng)絡(luò)技術(shù)飛速發(fā)展，音樂信息傳輸技術(shù)得到快速進(jìn)步，虛擬音樂會(huì)的概念也逐漸被大眾接受，一些機(jī)構(gòu)也把虛擬音樂會(huì)作為演出排期的一種列入計(jì)劃。受新冠疫情影響，原定于2020年的許多音樂會(huì)都不得不緊急取消或改為線上演出，如2020年紐約城市電子音樂節(jié)（NYCEMF 2020）和2020年國(guó)際電子音樂年會(huì)（ICMC 2020）都為應(yīng)對(duì)當(dāng)?shù)貒?yán)峻的疫情，改成了線上虛擬音樂會(huì)或線上推廣。

但因客觀經(jīng)濟(jì)條件與技術(shù)條件的限制，組委會(huì)選用流媒體技術(shù)作為線上音樂會(huì)的通信手段。不過以流媒體技術(shù)傳輸?shù)囊纛l信息都會(huì)被壓縮以加快傳輸速度，運(yùn)營(yíng)商和平臺(tái)為了保證流暢度會(huì)再次壓縮數(shù)據(jù)，這會(huì)對(duì)聲音細(xì)節(jié)造成不可挽回的損失。為此NYCEMF組委會(huì)提供了可下載的工程文件和音頻文件，方便聽眾在非實(shí)時(shí)環(huán)境中更好地欣賞作品。

由此可見，目前流行的網(wǎng)絡(luò)直播平臺(tái)或基于流媒體技術(shù)的網(wǎng)絡(luò)會(huì)議平臺(tái)并不適用于專業(yè)的音樂數(shù)據(jù)傳輸，難以應(yīng)用于虛擬線上音樂會(huì)中，因而需要更符合專業(yè)音樂演出質(zhì)量要求的網(wǎng)絡(luò)音頻傳輸方案。

（二）商業(yè)網(wǎng)絡(luò)音頻傳輸系統(tǒng)

通過網(wǎng)絡(luò)傳輸音頻的技術(shù)已經(jīng)得到廣泛應(yīng)用，但要高質(zhì)量、高精度的傳輸音頻信號(hào)，目前只有很少的廠商掌握核心技術(shù)，其中Steinberg公司出品的VST Connect Performer系統(tǒng)是質(zhì)量較穩(wěn)定的常用系統(tǒng)之一。

VST Connect（下文簡(jiǎn)稱VSTC）（如圖1所示）的開發(fā)團(tuán)隊(duì)有著超過十年的網(wǎng)絡(luò)音頻傳輸技術(shù)的開發(fā)經(jīng)驗(yàn)，該系統(tǒng)操作方便、功能強(qiáng)大，易于上手。VSTC是一款強(qiáng)大的音頻信號(hào)傳輸及分布式處理軟件，通過內(nèi)置在Cubase和Nuendo中作為一個(gè)路由終端，實(shí)現(xiàn)音頻傳輸網(wǎng)絡(luò)的構(gòu)建，在專屬網(wǎng)絡(luò)內(nèi)可高質(zhì)量、高精度的傳輸音頻信號(hào)、MIDI信號(hào)，甚至視頻信號(hào)，是當(dāng)前使用較廣的網(wǎng)絡(luò)音頻傳輸系統(tǒng)之一。

圖1 VST Connection的工作界面

完整版本的Cubase或Nuendo價(jià)格較高，為滿足非Steinberg用戶應(yīng)用VSTC技術(shù)，Steinberg公司允許單獨(dú)發(fā)行并購(gòu)買獨(dú)立的VSTC程序，可以應(yīng)用于其他工作站或音樂軟件。

VSTC將音頻信號(hào)的處理分散至網(wǎng)絡(luò)上的多臺(tái)計(jì)算機(jī)，減少單一計(jì)算機(jī)的運(yùn)算壓力。用戶在主控端登陸后便可自行構(gòu)建用戶網(wǎng)絡(luò)，將受控端接入系統(tǒng)中，構(gòu)成一個(gè)基于網(wǎng)絡(luò)的音頻傳輸系統(tǒng)。在傳輸信號(hào)時(shí)，VSTC可同時(shí)實(shí)現(xiàn)信號(hào)處理。通過主控端的VSTC可以設(shè)置受控端的處理進(jìn)程，精確控制數(shù)字信號(hào)的流向，實(shí)現(xiàn)網(wǎng)絡(luò)內(nèi)的信號(hào)分布式處理，最終混合成一個(gè)完整的信號(hào)。

除此之外，Apple公司的Logic Pro也提供基于網(wǎng)絡(luò)的分布式音頻處理（DAP）功能。利用TCP/IP協(xié)議，通過網(wǎng)絡(luò)將信號(hào)分散到有Logic Node服務(wù)的節(jié)點(diǎn)上處理，借助每個(gè)節(jié)點(diǎn)的運(yùn)算能力對(duì)音頻信號(hào)實(shí)現(xiàn)處理，完成后發(fā)送回主機(jī)，減輕主機(jī)的運(yùn)算壓力。Logic Pro的DAP系統(tǒng)只能運(yùn)行在蘋果計(jì)算機(jī)上，不能跨平臺(tái)、跨宿主連接，在通信上較為不便。但憑借Logic強(qiáng)大的編曲功能和人性化的操作設(shè)計(jì)，仍活躍在音樂家群體中。

（三）商業(yè)化聲音處理網(wǎng)絡(luò)的局限

Steinberg的VST Connect還是Logic Pro的DAP系統(tǒng)都是商業(yè)軟件，作為功能模塊或插件接入系統(tǒng)，其核心組件都進(jìn)行了加密封裝，對(duì)系統(tǒng)接入的功能做出了限制，降低了音頻傳輸與信號(hào)處理的兼容性，使得作曲家很難對(duì)其進(jìn)行二次開發(fā)。兼容性的減弱還意味著用戶很難用其它平臺(tái)的軟件與系統(tǒng)建立連接，該網(wǎng)絡(luò)系統(tǒng)下所有的成員都必須采用同樣的接入方式，整體構(gòu)建系統(tǒng)和使用的成本大大增加。這兩套系統(tǒng)的目標(biāo)客戶是商業(yè)數(shù)字音頻工作站，其售價(jià)與使用成本高昂，學(xué)生、非盈利組織研究者等難以負(fù)擔(dān)其應(yīng)用成本。

二、低成本的虛擬音樂會(huì)技術(shù)實(shí)現(xiàn)

（一）內(nèi)網(wǎng)穿透技術(shù)

前面提到的聲音傳輸系統(tǒng)大多在局域網(wǎng)內(nèi)工作，可以在小型音樂會(huì)場(chǎng)中用作低延時(shí)的通信服務(wù)，但要在大型活動(dòng)或遠(yuǎn)程表演中該如何實(shí)現(xiàn)信號(hào)傳輸呢？

經(jīng)過筆者的研究與實(shí)驗(yàn)，大部分的聲音傳輸系統(tǒng)都支持TCP/IP或UDP協(xié)議，因此可以利用內(nèi)網(wǎng)穿透技術(shù)將本地IP地址和端口映射為公網(wǎng)IP地址和端口，從而將局域網(wǎng)和公網(wǎng)連通，使數(shù)字音樂信息可以通過公網(wǎng)進(jìn)行傳輸。

在穿透內(nèi)網(wǎng)時(shí)要使用和當(dāng)前音頻傳輸系統(tǒng)相同的網(wǎng)絡(luò)協(xié)議，用轉(zhuǎn)發(fā)IP的方式把內(nèi)網(wǎng)的IP與端口映射到公網(wǎng)。在實(shí)驗(yàn)中，筆者使用JACK音頻傳輸套件，其信號(hào)可以通過UDP協(xié)議傳輸，因此首先要構(gòu)建一條UDP通道才可將系統(tǒng)與公網(wǎng)連通。

因可以實(shí)現(xiàn)內(nèi)網(wǎng)穿透的服務(wù)或軟件較多，經(jīng)過多次實(shí)驗(yàn)，筆者最終選定SukuraFrp系統(tǒng)實(shí)現(xiàn)了內(nèi)網(wǎng)穿透。該系統(tǒng)是一種服務(wù)進(jìn)程（守護(hù)進(jìn)程），不需對(duì)操作系統(tǒng)做出設(shè)置，能夠根據(jù)選定條件自動(dòng)構(gòu)建UDP通道，非常適合有相關(guān)需求的音樂家或藝術(shù)家使用。

（二）MIDI協(xié)議

與常規(guī)網(wǎng)絡(luò)數(shù)據(jù)一樣，MIDI數(shù)據(jù)也可以在局域網(wǎng)內(nèi)通過網(wǎng)絡(luò)通信協(xié)議在各終端之間傳輸。Mac OS上可以使用系統(tǒng)內(nèi)置的IAC驅(qū)動(dòng)實(shí)現(xiàn)網(wǎng)絡(luò)MIDI信號(hào)傳輸。Windows平臺(tái)上與之相似的網(wǎng)絡(luò)MIDI傳輸驅(qū)動(dòng)有rtp MIDI，相較于MIDI over LAN或IP-MIDI等協(xié)議，rtp MIDI為開源自由軟件，免費(fèi)而高效。筆者基于WiFi網(wǎng)絡(luò)使用rtp MIDI構(gòu)建MIDI信息網(wǎng)絡(luò)，免去布線的麻煩，減少對(duì)演出場(chǎng)地的占用，使通信變得更方便。

（三）Open Sound Control協(xié)議

OSC（Open Sound Control）是一種數(shù)據(jù)傳輸規(guī)范，用于應(yīng)用程序、硬件之間的實(shí)時(shí)通信。OSC項(xiàng)目最初是為設(shè)計(jì)一種替代MIDI的高精度、低延遲、靈活的通信標(biāo)準(zhǔn)，用于網(wǎng)絡(luò)環(huán)境下的實(shí)時(shí)音樂表演。相對(duì)于MIDI，OSC移除了MIDI許多固有的信息結(jié)構(gòu)和硬件限制，加入了開放式、可自定義的空間地址模型，甚至可以通過標(biāo)準(zhǔn)網(wǎng)絡(luò)硬件提供任意的參數(shù)控制。

TouchOSC是目前比較流行的開源OSC控制軟件，支持跨平臺(tái)連接，可以使用基于UDP和TCP/IP協(xié)議的網(wǎng)絡(luò)通信。TouchOSC可以自行開發(fā)控制界面，用戶可以根據(jù)需要在開發(fā)套件中設(shè)計(jì)交互面板，不需要從代碼層面進(jìn)行開發(fā)。

對(duì)于遠(yuǎn)程表演來(lái)說，OSC在網(wǎng)絡(luò)通信方面已經(jīng)超越了MIDI，可預(yù)見OSC將會(huì)成為音樂制作通用標(biāo)準(zhǔn)之一。

（四）JACK

JACK（Jack Audio Connection Kit）是一款介于軟件與音頻驅(qū)動(dòng)之間的中間層，為音頻軟件、硬件之間的通信提供服務(wù)，可以讓用戶構(gòu)建強(qiáng)大的信號(hào)處理及音樂制作系統(tǒng)。JACK來(lái)源于Linux系統(tǒng)，是專業(yè)級(jí)的聲音服務(wù)（守護(hù)進(jìn)程），為音頻信號(hào)和MIDI數(shù)據(jù)提供實(shí)時(shí)、低延遲的連接。JACK中的JACKRouter服務(wù)可以運(yùn)作在聲卡驅(qū)動(dòng)與音頻軟件之間，作為一個(gè)中間層把音頻信號(hào)在各個(gè)端口間進(jìn)行橋接。

在實(shí)驗(yàn)中，已載入JackRouter的音頻程序可以作為JACK網(wǎng)絡(luò)中的一個(gè)節(jié)點(diǎn)，通過JACK的中間層功能將信號(hào)橋接到其他應(yīng)用或驅(qū)動(dòng)中。這樣的方式打破了操作系統(tǒng)對(duì)音頻I/O的限制，JACK作為跳線盤（patch bay）以跳線的方式將各個(gè)音頻軟件的信號(hào)相互連通，構(gòu)建自己的信號(hào)流路由系統(tǒng)。

三、線上虛擬音樂會(huì)設(shè)計(jì)與表演實(shí)踐

經(jīng)過筆者和團(tuán)隊(duì)對(duì)上述網(wǎng)絡(luò)音樂信息通信技術(shù)研究和實(shí)驗(yàn)，于2021年4月在四川音樂學(xué)院數(shù)字媒體四川省重點(diǎn)實(shí)驗(yàn)室舉辦了一場(chǎng)小型虛擬線上音樂會(huì)，筆者和多位團(tuán)隊(duì)成員參與創(chuàng)作了多部基于網(wǎng)絡(luò)通信的實(shí)時(shí)音樂作品。

此次線上虛擬音樂會(huì)在策劃之初，就討論決定作品基于低成本的互聯(lián)網(wǎng)音樂傳輸技術(shù)和內(nèi)網(wǎng)穿透的遠(yuǎn)程通信技術(shù)創(chuàng)作和實(shí)現(xiàn)，主要使用前文介紹的通信技術(shù)，搭建一套用于遠(yuǎn)程傳輸音樂信息的網(wǎng)絡(luò)通信系統(tǒng)，以此實(shí)現(xiàn)一場(chǎng)實(shí)時(shí)的線上音樂會(huì)。

現(xiàn)代觀眾更愿意、更喜歡接受能夠與自己產(chǎn)生聯(lián)系的作品，如現(xiàn)場(chǎng)表演和現(xiàn)場(chǎng)互動(dòng)；而錄播的作品在內(nèi)容上較為死板，雖然能夠忠實(shí)地傳達(dá)作者的創(chuàng)作意圖，但觀眾很難身臨其境地融入到作品中。因此本場(chǎng)音樂會(huì)作品既有傳統(tǒng)的預(yù)制型作品、交互型作品，也有基于網(wǎng)絡(luò)的實(shí)時(shí)交互作品、實(shí)時(shí)編碼作品，從而體現(xiàn)出網(wǎng)絡(luò)技術(shù)在音樂創(chuàng)作表演中的應(yīng)用和新的可能性。

其中，實(shí)時(shí)交互作品以內(nèi)網(wǎng)穿透為核心通信手段，用MIDI、OSC傳遞控制信息，用JACK傳輸音頻數(shù)據(jù)，在總控計(jì)算機(jī)上整合為一個(gè)完整的作品。相比傳統(tǒng)音樂創(chuàng)作，基于網(wǎng)絡(luò)的創(chuàng)作可以使用低成本的開源軟件與通信技術(shù)，減少使用價(jià)格高昂的商業(yè)化系統(tǒng)，大幅降低創(chuàng)作成本來(lái)實(shí)現(xiàn)虛擬音樂會(huì)。

在交互作品創(chuàng)作中，MIDI協(xié)議是最常用通信標(biāo)準(zhǔn)。傳輸MIDI信息比傳輸音頻信息所需帶寬更窄，傳輸更為高效。為減少演出時(shí)主控端的運(yùn)算負(fù)荷，大部分的音頻運(yùn)算由音源宿主完成。宿主通過網(wǎng)絡(luò)獲取MIDI信息后，運(yùn)算并生成音頻信號(hào)，通過聲卡發(fā)送至揚(yáng)聲器，提高系統(tǒng)的整體運(yùn)算效率。

在表演方面，基于網(wǎng)絡(luò)環(huán)境創(chuàng)作的作品無(wú)需演奏家親臨現(xiàn)場(chǎng)，能夠跨越地域限制邀請(qǐng)到高水平的演奏家，減少人員流動(dòng)所帶來(lái)的一系列成本和安全問題，演奏家只需安裝指定的通信軟件就可加入虛擬音樂會(huì)進(jìn)行表演。

實(shí)時(shí)的遠(yuǎn)程通信還可以強(qiáng)化表演者與創(chuàng)作者之間的聯(lián)系，讓彼此合作更容易，在表演時(shí)可以更方便地交流，精確控制作品表演的細(xì)節(jié)，實(shí)時(shí)回應(yīng)現(xiàn)場(chǎng)觀眾的需求，與觀眾互動(dòng)。

遠(yuǎn)程通信的優(yōu)勢(shì)不僅體現(xiàn)在表演者與創(chuàng)作者之間，在音樂會(huì)的參與人數(shù)上也可大幅提升。傳統(tǒng)音樂會(huì)由于場(chǎng)地限制，無(wú)法滿足過多觀眾同時(shí)親臨觀賞，但在網(wǎng)絡(luò)上不受此條件的限制。理論上只要網(wǎng)絡(luò)音樂會(huì)主控端的數(shù)據(jù)帶寬足夠，就可以容納更多的觀眾，因此網(wǎng)絡(luò)音樂會(huì)可以讓更多的音樂愛好者參與其中。

在觀眾互動(dòng)中，使用網(wǎng)絡(luò)通信可以拓展出新的交互方式。在本場(chǎng)音樂會(huì)中，筆者自行設(shè)計(jì)TouchOSC的界面，構(gòu)建了一套自定義的OSC映射體系，成功地與MIDI系統(tǒng)連通，用無(wú)線控制的方法將OSC信息轉(zhuǎn)化為MIDI信息與設(shè)備產(chǎn)生交互，將MIDI和OSC信息映射為燈光或影像事件，大大拓展了表演方式。演職人員提前將團(tuán)隊(duì)編寫的TouchOSC控制程序發(fā)送給作為演出志愿參與者的觀眾，讓他們按照設(shè)計(jì)要求在音樂會(huì)進(jìn)行過程中參與到作品表演中來(lái)，使觀眾成為作品互動(dòng)表演的一部分，打破觀眾與表演者之間的界限，強(qiáng)化表演者與觀眾的直接交流。

本場(chǎng)基于網(wǎng)絡(luò)音頻傳輸系統(tǒng)實(shí)現(xiàn)的音樂會(huì)，受到許多觀眾的好評(píng)與認(rèn)可，在同行業(yè)參與者中留下很深的印象。許多觀眾表示這是一次耳目一新的體驗(yàn)，使用了很多未曾想到過的新方法，對(duì)基于網(wǎng)絡(luò)技術(shù)的音樂表演有了新的認(rèn)識(shí)，期待新作品的創(chuàng)作和表演。

結(jié) 語(yǔ)

在本次的音樂會(huì)實(shí)踐中，筆者通過研究網(wǎng)絡(luò)音頻傳輸、虛擬音樂會(huì)的相關(guān)技術(shù)，找到了諸多可以實(shí)現(xiàn)網(wǎng)絡(luò)音頻傳輸?shù)姆桨?，既包括有成熟的商業(yè)聲音傳輸系統(tǒng)，又有開源低成本的通信技術(shù)，可以滿足不同人群的應(yīng)用需求。

本團(tuán)隊(duì)對(duì)虛擬音樂會(huì)技術(shù)的實(shí)踐找到了有效的低成本通信手段，實(shí)現(xiàn)了在不同網(wǎng)段間的實(shí)時(shí)通信，建立了由多種軟件構(gòu)成的音頻傳輸系統(tǒng)。對(duì)于那些無(wú)法獲得足夠經(jīng)濟(jì)支持和技術(shù)支持的創(chuàng)作者而言，本次音樂會(huì)提供了一個(gè)良好的解決方案。這些低成本的通信技術(shù)在保證通訊質(zhì)量的同時(shí)，還可以最大限度發(fā)揮用戶的自主開發(fā)能力，根據(jù)用戶知識(shí)背景和應(yīng)用需求，以上的通訊技術(shù)還可在其它創(chuàng)作中加以應(yīng)用。

對(duì)虛擬音樂會(huì)技術(shù)的研究還推動(dòng)了筆者團(tuán)隊(duì)基于網(wǎng)絡(luò)通信的實(shí)時(shí)互動(dòng)音樂作品的創(chuàng)作，拓展了網(wǎng)絡(luò)音頻傳輸系統(tǒng)在音樂創(chuàng)作中的應(yīng)用前景，探索到更多實(shí)時(shí)表演的可能性。希望相關(guān)的藝術(shù)家能夠借此文獲得新的靈感與思考?！?/p>