包憶杭

多媒體電子音樂是電子音樂中跨學(xué)科融合性較強(qiáng)的一種類型，除了聲音還帶有視覺影像、激光、裝置等其他媒介來增強(qiáng)作品表現(xiàn)力。增強(qiáng)現(xiàn)實(shí)技術(shù)是一種將虛擬信息通過多種計(jì)算機(jī)技術(shù)手段實(shí)時(shí)渲染后與現(xiàn)實(shí)世界的信息有機(jī)地融合，兩種信息互為補(bǔ)充，從而強(qiáng)化人的感官體驗(yàn)的技術(shù)，融合增強(qiáng)現(xiàn)實(shí)技術(shù)的多媒體電子音樂中的實(shí)際案例比較少見，但是隨著增強(qiáng)現(xiàn)實(shí)音頻、空間音頻等音頻技術(shù)的出現(xiàn)，在沉浸式的聯(lián)覺體驗(yàn)越來越受重視，電子音樂作品創(chuàng)作的媒介越來越豐富。然而對于聲音創(chuàng)作者來說使用Cycling 74 MAX上手更快，本文通過模擬創(chuàng)作一個(gè)交互空間中的電子音樂，側(cè)重分析基于Cycling 74 MAX聲音創(chuàng)作環(huán)境下跨平臺音樂交互設(shè)計(jì)的方法，基于耳機(jī)回放條件下聲音空間定位的物理運(yùn)算及數(shù)據(jù)轉(zhuǎn)換途徑，為融合增強(qiáng)現(xiàn)實(shí)技術(shù)的多媒體電子音樂作品提供一個(gè)更簡便的實(shí)現(xiàn)聲音聽覺定位交互的方案，希望為此類作品的創(chuàng)作研究與實(shí)現(xiàn)提供一定的參考與借鑒。

一、Cycling 74 MAX與UNITY下的作品模擬環(huán)境搭建

Cycling 74 MAX（簡稱MAX/MSP）是一種圖形編程工具且常用于新媒體藝術(shù)創(chuàng)作，特別是在音樂創(chuàng)作和聲音創(chuàng)作方面。Cycling 74 MAX通過簡便的圖形編程，極大地方便了電子音樂和聲音設(shè)計(jì)創(chuàng)作者探索電子音樂的可能性甚至完成視覺的創(chuàng)作。UNITY是常見的3D內(nèi)容創(chuàng)作和運(yùn)行平臺，許多增強(qiáng)現(xiàn)實(shí)游戲也是通過UNITY制作出來，同時(shí)UNITY也可以通過基礎(chǔ)的C#編程語言來提取數(shù)據(jù)。在本研究中將使用UNITY來搭建模擬交互空間，在這個(gè)空間原點(diǎn)上放置全向點(diǎn)聲源，Cycling 74 MAX則負(fù)責(zé)電子音樂的創(chuàng)作和聲音處理。

（一）聲源定位所需的交互數(shù)據(jù)

本研究中Cycling 74 MAX對聲音定位的處理思路決定了從UNITY中獲取哪些數(shù)據(jù)，思路大致如下：1.隨著聲源與聽者的距離增加響度衰減，同時(shí)聽者聽到頻率也會有相應(yīng)的損失；2.聽者相對于聲源的移動產(chǎn)生的聲音多普勒效應(yīng)；3.聲源相對于聽者的聲像根據(jù)聽者朝向與聲源的角度得出4.在前后聲像位置上采用頻率衰減來區(qū)分。

通過上述思路得出主要所需的數(shù)據(jù)如下：聽者在點(diǎn)聲源為原點(diǎn)建立的空間坐標(biāo)系中的位置、聽者的移動速度、聽者的朝向以及這個(gè)朝向與聲源點(diǎn)形成的夾角。其中能通過基礎(chǔ)的C#腳本直接從UNITY中提取的數(shù)據(jù)有：聲源坐標(biāo)（原點(diǎn)）（0，0，0），聽者的坐標(biāo)（X，Y，Z），聽者的朝向（聽者在自身為原點(diǎn)的三維坐標(biāo)系中的Z軸正方向）。其中聽者朝向與聲源點(diǎn)形成的夾角并不能直接用從屬性數(shù)據(jù)中提取，但是可以提取到聽者朝向與原點(diǎn)三維坐標(biāo)軸Z軸形成的角度“eulerAngles.y”、聽者坐標(biāo)與原點(diǎn)相連的向量與X軸的夾角，這兩個(gè)數(shù)據(jù)可以用來計(jì)算出我們前面提到的夾角，計(jì)算方式于后文闡述。值得注意的是聽者朝向與原點(diǎn)坐標(biāo)軸Z軸形成的角度“eulerAngles.y”并不在物件的“transform.rotation”里，UNITY腳本中的變量 “transform.rotation” 是一個(gè)四元數(shù)，有x、y、z、w四個(gè)參數(shù)，這四個(gè)參數(shù)和UNITY面板中看到的物體的旋轉(zhuǎn)角度“Rotation”沒有直接關(guān)系，按度數(shù)存儲的旋轉(zhuǎn)角度存儲在“eulerAngles”屬性中。因此，如果你想直接調(diào)用“transform”中的旋轉(zhuǎn)角度，那么需要在C#中寫入提取“transform.eulerAngles”。

（二）OpenSoundControl協(xié)議下的跨平臺通訊配置

OpenSoundControl（簡稱OSC協(xié)議）是一種網(wǎng)絡(luò)傳輸協(xié)議，它的及時(shí)性和靈活性使其成為任何需要在軟件或硬件兩點(diǎn)之間進(jìn)行實(shí)時(shí)通信的解決方案。在Cycling 74 MAX中OSC協(xié)議使用“udpsend”物件配置IP地址和發(fā)送端口、“udpreceive”物件配置接收端口。UNITY中需要加載C#腳本來配置OSC協(xié)議并綁定到物件上，需要注意的是UNITY的OSC協(xié)議數(shù)據(jù)傳輸需要運(yùn)行搭建的場景才能進(jìn)行數(shù)據(jù)的收發(fā)。

二、Cycling 74 MAX中聲音的處理與編寫

（一）聲音衰減的運(yùn)算處理

聽者感受到的聲音響度會隨著距離變動以相當(dāng)復(fù)雜的方式發(fā)生變化，現(xiàn)實(shí)世界中這種變化還取決于環(huán)境的溫度濕度、風(fēng)速風(fēng)向等因素，但本次研究是針對電子音樂聲音創(chuàng)作中簡便的聲音空間交互效果，所以本次研究搭建的這個(gè)虛擬的空間是一個(gè)理想可控的自由聲場，且對聲音的衰減采用類似游戲音頻設(shè)計(jì)中的曲線衰減。通過OSC協(xié)議，在Cycling 74 MAX中得倒了聽者的坐標(biāo)（X,Y,Z），計(jì)算得到聽者與聲源相對距離r，模擬聲源處于自由空間，選用聲衰減公式L A（r）＝LWA -20*lgr-11，以上代數(shù)式在 Cycling 74 MAX中均可以通過“expr”等Object完成運(yùn)算，如圖1：通過選用這一衰減公式可以大致模擬出距離變化和聽者感受到的聲音大小變化。除此之外，在Cycling 74 MAX中設(shè)計(jì)兩個(gè)濾波器，第一個(gè)濾波器用于模擬高頻聲在空氣傳播中的吸收衰減，第二個(gè)濾波器衰減用于營造聲源位于聽者前后兩個(gè)方向時(shí)的聽覺差異。

圖1

多普勒效應(yīng)在聽感上表現(xiàn)為：當(dāng)聲源與聽者進(jìn)行相對運(yùn)動時(shí)，二者相對距離縮小，聽者聽到的音調(diào)變高，反之則聽到的音調(diào)變低，這種現(xiàn)象在現(xiàn)實(shí)生活中能被普遍觀察到。想要模擬這種效應(yīng)還是要從物理公式出發(fā)，多普勒效應(yīng)的公式如下：f1 =（V+V1）/（V-V2）*f。在上述公式中f1為聽者聽到的聲音頻率，V是聲音的速度，V1是人相對于聲源的移動速度，V2是聲源的速度，f是聲源頻率。在Cycling 74 MAX中，得到實(shí)時(shí)變化的坐標(biāo)信息后可以使用“timer”物件來作為單位計(jì)時(shí)器以求得速度，“timer”可以幫助我們計(jì)算收到兩次坐標(biāo)數(shù)據(jù)之間的時(shí)間間隔，如圖2：

圖2

需要注意的是：如果在timer前面的運(yùn)算中有使用到“trigger”物件的話會多觸發(fā)一次“bang”到“timer”物件，使“timer”計(jì)時(shí)顯示一直為0毫秒。由此得到單位時(shí)長內(nèi)相對距離的變化，從而得到了V1人的移動速度，V2聲源不可移動所以相對速度為0m/s。通過在Cycling 74 MAX中代入前述公式我們可以得出頻率變化的比值來模擬多普勒效應(yīng)。

（二）聲音像位的運(yùn)算處理

在本研究中，聽者頭部轉(zhuǎn)動這一變量是固定聲源聲像變化的參考數(shù)據(jù)，因此聲像的運(yùn)算處理主要通過聽者的朝向以及這個(gè)朝向與聲源點(diǎn)形成的夾角A并選擇使用三角函數(shù)的特性來進(jìn)行判定。正弦函數(shù)在弧度為0~π時(shí)大于0，在-π~0時(shí)小于0，角θ的正弦值如果大于0且越接近1則聲源相對于聽者像位越靠右，小于0且越接近-1則聲源相對于聽者像位越靠左。由于我們能直接從UNITY屬性中獲取的聽者朝向與原點(diǎn)坐標(biāo)軸Z軸形成的角度β，觀者坐標(biāo)與原點(diǎn)相連的向量與X軸的夾角α，且通過OSC傳出的是以順時(shí)針方向計(jì)算的角度，范圍是0~360，所以我們還需要經(jīng)過換算才能得到角θ。具體換算過程如下圖3：

圖3

需要注意的是：Cycling 74 MAX中“expr”物件可以進(jìn)行三角函數(shù)的運(yùn)算，但是需要使用弧度制，因此還需要把UNITY傳出的角度制轉(zhuǎn)為弧度制再使用。得到sinθ值通過“scale”物件映射數(shù)值到“pan2”聲像控制物件上，即可完成左右聲像上的定位。前后方向上的定位還是根據(jù)三角函數(shù)的特性使用余弦函數(shù)cosθ的正負(fù)值來判定前后的聲像定位。運(yùn)算具體如圖4。

圖4

（三）電子音樂生成和交互

由于聽者的位置是主要的交互因素，因而在電子音樂的表現(xiàn)上主要根據(jù)聽者相對于模擬聲源的距離遠(yuǎn)、中、近依次分為了三個(gè)段落，整體氛圍也由聽者走向模擬聲源的過程，從寧靜和諧轉(zhuǎn)變?yōu)樵陝踊靵y，第一個(gè)段落音樂材料為細(xì)雨聲、樹葉聲等自然聲采樣與基于自然大調(diào)音階的合成PAD音色與馬林巴琴；第二個(gè)段落音樂材料不變，但在聲音效果上進(jìn)行故障化和降低采樣率的處理；第三個(gè)段落音樂材料為密集不和諧音程的律動與伐木等環(huán)境噪聲。電子音樂部分的創(chuàng)作在Cycling 74 MAX中主要分為音樂生成和音樂交互處理兩個(gè)部分。

在使用的聲音材料中，自然聲采樣和環(huán)境噪聲采樣為提前預(yù)錄好放入Cycling 74 MAX中的，而樂音聲部的構(gòu)建和處理效果都通過圖形編程的方式完成。PAD音色的合成主要依賴“mc”多通道物件，通過給固定音階但隨機(jī)八度的多通道MIDI信息分配到相應(yīng)通道數(shù)的“cycyle~”物件，形成簡易的正弦波復(fù)音堆疊形成PAD如圖5。

圖5

馬林巴琴采樣器的設(shè)計(jì)分為音序預(yù)置和采樣處理兩個(gè)部分，首先采樣馬林巴琴中央C音放入“buffer~”物件中，“buffer~”物件可以用來儲存讀取音頻文件；其次進(jìn)行音序設(shè)計(jì)，在作品中馬林巴琴采樣器有兩個(gè)聲部，都通過“drunk“物件使兩個(gè)聲部播放速度不斷變化來產(chǎn)生一些節(jié)奏上的錯(cuò)位，來讀取預(yù)先寫好的MIDI信息，之后采樣器針對馬林巴中央C音高的調(diào)整通過“transratio”物件計(jì)算音高比值來進(jìn)行音高調(diào)制如圖6。

圖6

音樂交互部分除了聽者相對于聲源距離的變化產(chǎn)生音樂段落的變化之外，在具體階段的聲音處理效果深度上也會產(chǎn)生變化。主要表現(xiàn)在第二段中的對聲音材料進(jìn)行了激降采樣率處理并把故障噪聲加入，聽者在的距離越接近中心，故障噪聲的生成越多，降低的采樣率也越多。針對故障噪聲的生成主要用兩種方式生成：一是通過模仿磁帶或者碟片故障讀取速度不穩(wěn)定來模擬故障聲，這種故障聲的特點(diǎn)就是由于走帶速度的變化導(dǎo)致音高的偏移，由此可以使用“drunk”物件輸出不穩(wěn)定抖動的范圍數(shù)值模擬不穩(wěn)定的走帶速度，再通過“sfplay~”物件播放預(yù)置的采樣音頻素材，將“drunk”物件輸出的不穩(wěn)定數(shù)值帶入“pitchshift ”命令給入“sfplay~”后可以使音頻的音高發(fā)生位移；二是通過“noise~”物件和“pink~”物件通過輸出隨機(jī)大小的噪聲。

三、Cycling 74 MAX中聲音空間交互表現(xiàn)的其他工具

通過前述的聲音處理運(yùn)算可以在Cycling 74 MAX中實(shí)現(xiàn)最基本的空間視聽聯(lián)覺，如果要實(shí)現(xiàn)更加細(xì)致的聲音處理以貼近現(xiàn)實(shí)世界的聲音反饋，可以添加頭部相關(guān)傳遞函數(shù)（HRTF）的運(yùn)算，以及加入擬定環(huán)境的物理因素例如溫度、濕度等。在Cycling 74 MAX還有以下幾種方式強(qiáng)化聲音的空間感：“FFT-based binaural panner”，該庫物件內(nèi)部使用了“jit.matrix”來保存HRTF的數(shù)據(jù)，可以對雙耳效應(yīng)的聽覺算法加以調(diào)整；“spat”庫由法國現(xiàn)代音樂研究所（IRCAM）編寫，創(chuàng)作者可以通過這個(gè)庫實(shí)現(xiàn)三維空間中的聲源定位，同時(shí)該庫也包含了大量的HRTF數(shù)據(jù)；而由蘇黎世藝術(shù)大學(xué)計(jì)算機(jī)音樂與聲音技術(shù)研究所編寫的“ICST Ambisonics”庫，則基于 Ambisonics這一技術(shù)原理來呈現(xiàn)聲音空間化的擴(kuò)展包。

四、結(jié)語

本次研究中，通過基于Cycling 74 MAX構(gòu)建了跨平臺的聲音空間定位效果，更深入了解多普勒效應(yīng)、聲衰減等聲學(xué)現(xiàn)象和物理運(yùn)算。目前研究實(shí)現(xiàn)了最基本的聯(lián)覺和聽覺空間定位需求，但為了更加具有沉浸式體驗(yàn)的聽覺感受還需要在后續(xù)的研究中嘗試加入HRFT等其他影響聲音呈現(xiàn)的運(yùn)算，以增強(qiáng)這類創(chuàng)作方式下的聲音空間交互呈現(xiàn)效果，并結(jié)合增強(qiáng)現(xiàn)實(shí)技術(shù)在電子音樂和聲音裝置作品創(chuàng)作實(shí)踐中探索更多的可能性。