宋 寧

（南京航空航天大學藝術學院，江蘇 南京，210000）

1 作品概述

《錯置》屬于電子音樂與影像結(jié)合類作品，其影像部分由南京藝術學院傳媒學院許翔老師帶領楊帆、徐以沫兩位同學共同拍攝制作；電子音樂部分則由筆者與南京藝術學院傳媒學院范翎老師合作完成。該作品創(chuàng)作意圖旨在探尋影像與聲音新的共存方式。在表達上，擺脫傳統(tǒng)藝術領域中音畫對位的思維模式，結(jié)合視覺與聽覺的接收規(guī)律及交互作用；在視覺與聽覺領域?qū)ふ腋嗟墓餐Z言，以求更好地融合。此作品獲“多元”第七屆北京電子音樂節(jié)電子音樂作曲大賽江蘇賽區(qū)C組（MV及電子音樂與DV、Flash、動漫或數(shù)字影像結(jié)合作品）二等獎。

《錯置》的聲音素材完全采用電子合成音色，基于多種形態(tài)的聲音元素，通過多種變形處理及效果調(diào)制推動聲音不斷進行內(nèi)在的發(fā)展，使聲音本身的感染力及張力更具效能，最終形成具有多重聲音表現(xiàn)特性的電子音樂作品。作品的影像部分是通過對一系列表面看似毫無邏輯關系的物體靜態(tài)以及運動的拍攝，利用不同景別、構(gòu)圖、色彩、特效表現(xiàn)物體之間、物體與空間的共存、碰撞、錯位，闡釋物與物之間內(nèi)在的關聯(lián)。

2 作品聲音素材、結(jié)構(gòu)分析

2.1 聲音素材

整部作品的聲音素材可分為彌散狀、線狀、閃爍狀、顆粒狀四種形態(tài)。

（1）彌散狀音色多以無音頭形式淡入，常用來營造氛圍、鋪墊情緒，多與畫面中的慢速運動相配合。如全曲開始由一個低頻段彌散狀音色漸進，讓聲音以發(fā)散狀態(tài)彌漫在空間中，以蓄積內(nèi)在的力。

（2）線狀音色通常是從點到點的快速運動過程，這個伴隨著相位轉(zhuǎn)移的過程有時會連帶多普勒效應，產(chǎn)生聲音頻率、音強、聲像等一系列相互作用的聲音特質(zhì)急速運動變化的效果。線狀音色常與以一定速度有指向性的物體的運動相配合。如作品中物體由右向左勻速滾動的片段，與之相對應的是一個高頻的線狀音色做同樣聲像的位移。但有時也會根據(jù)創(chuàng)作者的意圖特意打破觀者慣有的生理接受特性，做完全反邏輯的處理。如作品0'39''，影像呈現(xiàn)兩物體撞擊畫面，而聲音卻為高頻線狀音色到低頻線狀音色的平滑銜接，一動一靜，造成視覺與聽覺的感受相矛盾，以制造不同常規(guī)的沖擊力。

（3）閃爍狀音色在一個較寬泛的區(qū)域中“星羅棋布”，同時，聲音在進行的過程中不斷變幻閃爍規(guī)律，營造出捉摸不定的氣氛。如作品1'14''是典型的閃爍狀素材，此點綴的閃爍狀音色，隨機跨越在高頻段和中頻段之間。

（4）顆粒狀音色與閃爍狀音色略有相近，類似無數(shù)細小、珍珠般圓潤的聲音散落在空間中，與其他音色配合時會使整體聲音狀態(tài)更加靈動、活躍或奇幻。同時，顆粒狀聲音通過有序組織、展開、推進，對聽者產(chǎn)生多重的感染力。

2.2 聲音素材變形、調(diào)制手法

這部作品的聲音制作基于MAC系統(tǒng)的LOGIC工作平臺，部分音色從EFM 1、ES 2、EVOC 20、Sculpture、Absynth中選取，通過FM調(diào)頻合成器里的多項參數(shù)旋鈕在聲音行進的過程中將音色逐漸變形。如0'43''出現(xiàn)的顆粒狀音色選用的是ES 2中的Mono Rhythm B，其音色原本已預置固定參數(shù)，為了通過音響出現(xiàn)的漸進變化表現(xiàn)聲音的延展性，創(chuàng)作者對其中Fliter的cut從0到1之間畫了線性包絡。同時，通過相位的移動配合畫面中物體的運動。

此外，運用LOGIC自帶效果器及Waves效果器中Doppler、Morphoder、Enigma、Metaflanger、Stereo Spread、EVOC 20 TrackOscillator及GRM tools對聲音進行實時調(diào)制。例如GRM tools就是調(diào)制顆粒狀音色很好的工具軟件，它把原本短小的聲音變形得更為細碎、豐富，再配合Doppler音高與距離的相對運動，使聲音在單獨存在時已經(jīng)具有很強的畫面感。

2.3 作品層次結(jié)構(gòu)

2.3.1 縱向?qū)哟?/p>

全曲高頻段的主要聲音素材為閃爍狀、顆粒狀和線狀，其中較為典型的有0'34''出現(xiàn)的一個線狀音色，此聲音略帶金屬質(zhì)感、薄而透亮，給人以充滿理想與希望的暗示，同時通過相位、音量、音高無級線性變化，又使聲音始終處于不斷游離的狀態(tài)。

中頻段的主要聲音素材為閃爍狀、線狀、彌散狀。如0'43''出現(xiàn)的閃爍狀音色，此聲音跨越頻段較寬，常穿梭于各頻段之間，隨著調(diào)制的變化對情緒起到推動或緩和的作用。在此頻段出現(xiàn)的線狀音色多形成動態(tài)背景層，通過對濾波、鑲邊、顫音等變形手段進行動態(tài)調(diào)制起到?jīng)_擊或舒緩的作用。

低頻段以彌散狀音色為主，為整體聲音架構(gòu)三維的立體空間，使整個空間有松散而穩(wěn)固的低頻層承托。偶爾出現(xiàn)由中高頻段運動至中低頻段的閃爍狀、線狀音色，在運動的過程中充分發(fā)揮聲音素材在低頻段特有的特質(zhì)，起到一定的情緒預示，通常一個音色在寬頻段中作較大幅度的運動會更易被聽者關注。

2.3.2 橫向?qū)哟?/p>

全曲分為引子、中部、尾聲三個部分。主要通過對電子音色的變形、調(diào)制讓音色實現(xiàn)內(nèi)在發(fā)展以推動橫向進行。由于作者的創(chuàng)作意圖是對于聲音的變形進行嘗試，以及對視覺聯(lián)覺的探索，因此，全曲均為散板。

引子由彌散狀低頻淡入，試圖構(gòu)建一個有承載力并有一定縱深度的聲場。隨著低頻在空間中的逐漸擴散、彌漫，引入一個新的高頻線狀素材，此素材從一個點到另一個點做勻速相位移動，配合畫面由虛到實，給觀者以強烈的不安的心理暗示。引子到中部是由彌散狀音色的淡出及閃爍狀音色的淡入作為銜接。中部推向高潮的段落主要由閃爍狀音色強度、密度及規(guī)律的漸變，彌散狀音色細膩的強度改變，線狀音色的穿梭共同推動。當所有聲音在即將沖到極限時戛然而止，此時微弱的氣息聲及線性音色存在于一個水底的聲場中，讓聽者在情緒即將伴隨聯(lián)覺到達頂峰時，突然沉入水底，毫無準備地給人以窒息之感。最終全曲再次出現(xiàn)引子部分的閃爍狀聲音素材，但此次素材在低頻層律動，最后向聲場的深遠處淡出。

3 作品影像分析

3.1 影像素材

《錯置》的影像部分采用實拍的手法，基本素材為靜物特寫及物體律動、碰撞。基于音視頻結(jié)合作品的基本要素，視覺影像與聽覺聲音之間必然有邏輯聯(lián)系，因此，影像素材的組織及節(jié)奏推進與音樂息息相關。在引子部分，主要為鑰匙等物體的靜態(tài)特寫，和鎖鏈來回自然擺動的律動，兩大靜與動的主體的陳述。在中部部分則圍繞這兩個脈絡展開動與靜關系的發(fā)展，在同一時間層、空間層通過聲音、影像自身以及聲音與影像之間的對立、統(tǒng)一來共同表現(xiàn)“錯置”這個主題。作品尾聲部分，原本靜態(tài)的物體在經(jīng)過中部發(fā)展律動后最終回歸到靜止，在鏡頭的虛與實之間隨音樂淡出。

3.2 影像素材發(fā)展手法

3.2.1 靜態(tài)物體通過圖像的技術處理手段進行發(fā)展

（1）布光

創(chuàng)作者對于需要強調(diào)的物體或段落，運用具有高反差及高明暗對比的布光。通過這種手段來加強空間的三維特性，賦予畫面表現(xiàn)力，逐漸強化畫面對物體的指向性。如作品從0'12''開始，對鑰匙的布光逐漸由暗至明，形成與暗色背景越來越大的反差。

（2）色彩

通過改變色彩的飽和度來提升或衰減色彩能量。通常亮的、高度飽和的色彩更易強化高能量場景，例如鮮明的色彩表現(xiàn)激烈的畫面，而不飽和的色彩則更容易誘導觀眾透過外部畫面深度關注事件內(nèi)部的發(fā)展。觀者也更愿意去實施心理完形，填充低飽和度與低清晰度畫面中缺失的成分。根據(jù)這一特性，創(chuàng)作者甚至在影像發(fā)展過程中適時地運用黑白處理，完全撇開色彩，使觀者專注于創(chuàng)作者希望強調(diào)的畫面深層信息，從而引導觀者在心理上向事件內(nèi)部發(fā)展去感受，而非認知性地觀看畫面。如1'35''畫面從灰白背景的透明魚缸大特寫，逐漸過渡到同樣背景低飽和度色彩的筆的特寫，最終到高飽和度的整幅畫面，通過色彩起到能量推動作用。

（3）景深

為引起觀者對畫面內(nèi)特定物體產(chǎn)生強指向的關注，而帶來心理沖擊，可以通過對鏡頭的深度進行變化。如1'27''畫面將鏡頭焦點瞬間從背景拉至物體，給觀者以強烈的視覺沖擊。

（4）特效

通過技術手段對于實拍物體做變形，使物體扭曲或不再清晰。如1'07''畫面運用瓦楞紙的效果，鎖鏈在這樣的效果下左右搖擺，給觀者造成一種不安定的心理暗示。

（5）虛化

創(chuàng)作者希望通過低清晰度畫面使觀者實施大量的心理完形，再通過由虛到實的過程，一步步引導觀者，從而獲得合適的格式塔，由此產(chǎn)生畫面磁力，在不知不覺中引導觀者努力參與畫面信息的詮釋。在這部作品中創(chuàng)作者較多地結(jié)合此手法對影像做深層次的發(fā)展，如1'13''隨著杯子的旋轉(zhuǎn)，杯身的圖案進入鏡頭，伴隨這個過程，圖案從模糊到逐漸清晰，給觀者以充分的時間伴隨聲音的推進而填充不足的畫面信息。

3.2.2 物體通過自身運動進行發(fā)展

在這部作品中這一類動態(tài)發(fā)展手法包括：物體的滾動、律動、碰撞。滾動是物體基于一個平面，從畫面的一側(cè)向另一側(cè)做勻速運動，如畫面中易拉罐的滾動。通常這一類運動力的強度不大，但具有很強的指向性，容易與聽覺上的相位移動相關聯(lián)。律動是物體基于一個中心點在中心點的兩側(cè)做均勻的往返運動，營造懸念、不安的氣氛，給觀者造成搖擺不定的心理暗示，如畫面中鎖鏈及老舊的鐵鎖的搖擺。碰撞是在瞬間物與物通過高速運動產(chǎn)生撞擊，這類運動會對畫面產(chǎn)生強大的沖擊力，如作品中板凳的碰撞。

3.3 建構(gòu)靜態(tài)畫面的自然力作用

安定的平衡畫面：當畫面中靜態(tài)的物體幾乎處于對稱結(jié)構(gòu)，在畫面兩側(cè)的圖像質(zhì)量、磁力都幾乎相同時，意味著圖像處于安定的平衡狀態(tài)，此時觀者的心態(tài)也屬于平穩(wěn)狀態(tài)。例如畫面中凳子最初的擺位是左右對稱的，此時為平衡畫面。但隨著撞擊改變了各自的位置，就是通過運動打破了原本畫面建構(gòu)的平衡。

不安定的平衡畫面：當畫面中圖形不再對稱分布，畫面兩側(cè)不再相等，從而增加了畫面的動態(tài)能量時，意味著圖像處于不安定的平衡狀態(tài)。此時畫面具有一定的張力，物體的任何一點細微運動都能使畫面?zhèn)鬟_出更強的傾向性。例如畫面中懸掛在把手上的鎖鏈，上端固定于把手、下端懸空垂直，就給觀者造成了一種向下的情緒指向。

3.4 動態(tài)畫面的連續(xù)矢量

屏幕內(nèi)作用最強的自然力可能就是那些在畫面區(qū)域內(nèi)部甚至外部將觀者的視線由一點引向另一點的指向性力了。這些力被稱為矢量（Vector），它們能夠與真正的物理力量一樣具有強迫性。為達到指向的必然性和力量，每一個矢量都載有一定量的大小和強度。因此，矢量是具有方向和強度的力。①畫面內(nèi)物體運動速度越快，其矢量強度越大，例如畫面0'38''處起不斷碰撞的凳子，隨著時間的推進其碰撞逐漸猛烈，矢量強度也隨之逐漸增大；物體質(zhì)量越大，其矢量強度也會相應的越大，例如畫面中瞬間掉落的鐵鎖，其強度就大于同樣高度掉落的塑料盒；此外，當物體以高速直指向攝像機運動或快速推進、拉遠鏡頭也會載有更高的矢量強度，例如畫面0'49''用虛化的鏡頭拍攝易拉罐從遠到近的快速滾動，其具有明確的方向指向——直指攝像機，因此，會比物體向別的方向運動具有更大的強度。

4 作品聲音與影像的組織、整合

4.1 聲音與影像的同步矢量

聲音與影像的同步矢量，即同一時間內(nèi)各特性或主要特性遵循同一情緒指向，共同發(fā)展、共同收束，保持一致。聲音與畫面的矢量同步，是滿足人們感知需要的最基本、最常見的方式，是觀者接收音視頻信息的一般形態(tài)。聲畫同步使作品所要傳達的情緒更加容易被接受和理解。表1列出的是聲音與畫面各元素依據(jù)矢量強度由低到高的總結(jié)列舉。

表1 聲音與畫面各元素依據(jù)矢量強度由低到高的總結(jié)列舉

為了實現(xiàn)聲音與影像的同步矢量，創(chuàng)作人員要做到的就是運用這些音畫基本構(gòu)成元素創(chuàng)造作品結(jié)構(gòu)上的匹配和節(jié)奏上的重合，使聲音和畫面的情緒相輔相成地以相匹配的強度指向同一方向，從而使作品的矢量更為流暢。例如畫面1'42''處易拉罐的大特寫，易拉罐直指鏡頭方向運動，這種物體運動方向比二維畫面內(nèi)物體從一側(cè)運動到另一側(cè)給予觀者的沖擊力和真實感更強。此時，聲音中音高的由低到高、音量的由弱到強，使這種沖擊力加劇。

4.2 聲音與影像的互補矢量

互補矢量，即聲畫特性不遵循同一情緒指向，而是以一種相互對比或相互補充的方式表現(xiàn)情緒。當觀者在一段時間內(nèi)接受的都是音畫同步矢量時，感知會形成一種慣性，隨之音畫的張力便會逐漸削弱，這就需要在一定的時候通過新的手段打破原有的規(guī)律。例如畫面2'04''在聲音和畫面的矢量強度幾乎到達頂峰時，聲音驟然停止，畫面也迅速切換為大特寫鏡頭下左右搖擺的銹跡斑駁的鐵鎖，在時間定格的一刻感受空間中惟一物體的律動。

4.3 音畫組合的磨合方式

《錯置》這部作品首先構(gòu)思的是聲音部分：確定主體聲音素材為四類形態(tài)的電子音色；通過調(diào)制、變形手段對聲音不斷進行內(nèi)在發(fā)展；全曲分為三個部分，即引子、中部、尾聲；在對聲音做變化的過程中，主要從動態(tài)、時域和特殊效果等方面進行調(diào)制。聲音主創(chuàng)人員明確基本的聲音形態(tài)后與影像制作人員交流聲音的設計思路，探討畫面以物體的實拍為基本影像素材，將物體自身運動及圖像技術處理作為圖像發(fā)展的手法。

在基本完成聲音創(chuàng)作后，影像制作人員反復聆聽、琢磨聲音，同時觀看影像原始素材，分析聽覺矢量場建立相似特性的聽覺矢量場，思考如何最大限度地并發(fā)影像和聲音的矢量場，使它們交織成一個有序的整體單元。例如當聲音由一種原始的基本形態(tài)逐漸彌散變化時，聲音蘊含了一定的情緒指向，這種指向載有一定量的強度，此時畫面也配合聲音的情緒指向，通過影像的指向或暗示來支持和推動這一情緒，建構(gòu)由畫面和聲音共同作用的矢量場。這一矢量場的效能決不是單一聲音與畫面相加的效能，而是同時作用于感官，并相互影響、滲透，甚至引起其他感官感覺的更大效能。例如在作品的引子部分，伴隨彌散狀音色聲音主體是線狀無級音高音色在作漸進上行，對情緒起到不安定指向。此時畫面為手持攝像機拍攝的放置在桌面的一串鑰匙，鏡頭對焦由虛到實，拍攝角度緩慢而不穩(wěn)定移動，進一步強化不安定情緒的指向，此時聲音和畫面共同完成了這一情緒的矢量場。

在聲音和影像整體基本完成后，雙方人員共同探討音畫的契合程度，此時需要重點關注的是在作品整體的段落起伏中，音畫的矢量場是否一致，節(jié)奏是否吻合。如創(chuàng)作磨合中期，音樂發(fā)展到中部結(jié)束處，聲音戛然而止，此時第一稿畫面設計仍然停留在高光狀態(tài)，具有很強的能量。創(chuàng)作者將此時聲音的情緒狀態(tài)表達給影像制作人員，后改為現(xiàn)在2'06''處畫面突然轉(zhuǎn)為深色暗光。

最后是對點，將影像和聲音緊密同步，視頻標準為幀，音頻則是通過波形大小變化來和畫面對應。這點需要兩方創(chuàng)作人員共同細致地從頭到尾過濾，為音畫同步進行某一方時間上的伸縮調(diào)整，具體哪一方做改動取決于該段落音畫誰為主體。這部作品較多地方是畫面適應聲音，但也有部分段落是聲音依據(jù)畫面做出調(diào)整。例如其中有一個畫面是畫筆從畫面的左側(cè)滾至右側(cè)，最初音樂在畫筆滾動到畫面中間時已經(jīng)有明顯的氣口，為配合畫面的完整性將音樂拉伸出一秒鐘。

5 結(jié)語

電子音樂與數(shù)字影像的結(jié)合日漸密切，這兩類有著強大的技術手段和獨特的創(chuàng)作觀念支撐的藝術分支共同發(fā)展、相互交融，為藝術創(chuàng)作提供了更多創(chuàng)新的空間。作品《錯置》就是在積極探尋電子音樂與數(shù)字實驗影像結(jié)合過程中的共通語匯，并藉此引發(fā)更多關于聲音與影像互補、融合的思考。

注釋：

① [美]赫伯特·則特爾著.趙淼淼譯. 圖像 聲音 運動——實用媒體美學[M]. 北京：北京廣播學院出版社，2003，106

[1] [美]赫伯特·則特爾著.趙淼淼譯. 圖像 聲音 運動——實用媒體美學[M]. 北京：北京廣播學院出版社，2003.

[2] 莊曜.范翎. 數(shù)字音頻應用藝術[M]. 南京：江蘇科學技術出版社，2010.

[3] 程伊兵.自己動手做聲音——聲音合成與制作基礎[M]. 北京：中央音樂學院出版社，2004.

[4] 彭志敏. 新音樂作品分析教程[M]. 長沙：湖南文藝出版社，2004.