吳振

【摘要】投影、游戲引擎、實(shí)時(shí)渲染、VR及AR等新媒體技術(shù)的發(fā)展及在舞臺(tái)演出中的應(yīng)用，呈現(xiàn)出演出的互動(dòng)性，VJ式的實(shí)時(shí)操控開始流行，使舞臺(tái)視覺(jué)效果更加豐富立體、富有變化，也出現(xiàn)了新媒體觀念劇。

【關(guān)鍵詞】舞臺(tái)演出；新媒體觀念?。灰曈X(jué)呈現(xiàn)；三維投影；游戲引擎；實(shí)時(shí)渲染；VJ；光影雕塑

近年來(lái)，隨著新科技的不斷發(fā)展，新媒體技術(shù)在舞臺(tái)演出中的應(yīng)用也是日新月異。有哪些新變化、新趨勢(shì)呢？筆者歸納了2017年中有影響的舞臺(tái)演出新媒體技術(shù)應(yīng)用，并結(jié)合自己的創(chuàng)作實(shí)踐認(rèn)為：投影技術(shù)的進(jìn)步和創(chuàng)作理念的更新使舞臺(tái)視覺(jué)效果更加豐富立體、富有變化；游戲引擎、實(shí)時(shí)渲染技術(shù)的發(fā)展及其與媒體的結(jié)合互動(dòng)使得新媒體藝術(shù)更好地融入即興和實(shí)驗(yàn)表演藝術(shù)中，VJ（Visual Jockey，影像騎師）式的實(shí)時(shí)操控開始流行；一些前衛(wèi)藝術(shù)家大膽嘗試，將VR、AR（虛擬現(xiàn)實(shí)、增強(qiáng)現(xiàn)實(shí)）技術(shù)融入舞臺(tái)表演，探索舞臺(tái)視覺(jué)呈現(xiàn)的新形式；新媒體藝術(shù)家將創(chuàng)意編程、新媒體交互裝置介入舞臺(tái)創(chuàng)作，創(chuàng)作出令人耳目一新的新媒體觀念劇。

1投影技術(shù)的進(jìn)步及其對(duì)創(chuàng)作觀念的影響

投影技術(shù)的進(jìn)步突出體現(xiàn)在三維投影和亮度的提升，視頻服務(wù)器投影貼圖矯正功能的出現(xiàn)，使設(shè)計(jì)制作的影像能夠完整、準(zhǔn)確、快捷地投射在三維介質(zhì)上；而高流明激光投影機(jī)的普及極大地提升了投影畫面的亮度，削弱了傳統(tǒng)舞臺(tái)燈光對(duì)其的影響。

在運(yùn)用投影的創(chuàng)作理念上，從之前舞臺(tái)繪景式的2D平面發(fā)展到“3D Mapping”?！?D Mapping”國(guó)內(nèi)又稱為“光影雕塑”，可以將動(dòng)畫影像完整、準(zhǔn)確地投射到戶外建筑、汽車車身甚至鋼琴、人的面部等任何可以投射的介質(zhì)上。設(shè)計(jì)師通過(guò)巧妙的創(chuàng)意構(gòu)思，可以實(shí)現(xiàn)更加豐富、立體、富有變化的視覺(jué)效果，使觀眾的視覺(jué)、思維突破二維的限制，拓展出第三個(gè)維度的想象空間。

例如，2017年9月在鳥巢舉辦的汪峰演唱會(huì)上，創(chuàng)作團(tuán)隊(duì)采用10臺(tái)投影機(jī)（頭部2臺(tái)、胸部2臺(tái)、腹部2臺(tái)、左右兩臂各2臺(tái)）將影像投射在19 m高、兩臂展開61 m的“X Man”人形模型上；同時(shí)，使用Disguise服務(wù)器的模型拉點(diǎn)模式功能對(duì)投射在“X Man”上的各部分的影像進(jìn)行調(diào)制，實(shí)現(xiàn)完美無(wú)縫的疊加。服務(wù)器通過(guò)四路實(shí)時(shí)采集，將不同機(jī)位攝像機(jī)的信號(hào)傳到LED大屏，現(xiàn)場(chǎng)實(shí)時(shí)編輯，無(wú)縫切換不同角度的鏡頭畫面，如圖1所示。

而室內(nèi)劇場(chǎng)的演出，投影介質(zhì)由傳統(tǒng)的天幕、臺(tái)口紗幕擴(kuò)展延伸到整個(gè)舞臺(tái)甚至觀演區(qū)的地面和頂部，為演出平添了沉浸感及震撼的效果：視覺(jué)影像創(chuàng)作的內(nèi)容開始擺脫舞臺(tái)繪景式的具象畫面，而開始用簡(jiǎn)潔抽象的畫面表現(xiàn)人物內(nèi)心世界。

筆者在2017年12月北京舞蹈學(xué)院舞劇《“話說(shuō)”南泥灣》的多媒體創(chuàng)作中，嘗試運(yùn)用“3D Mapping”的創(chuàng)作理念，設(shè)計(jì)了在天幕、地面和側(cè)幕條的立體投射影像方案，使其成為相互關(guān)聯(lián)的有機(jī)整體。演出使用4臺(tái)三萬(wàn)流明的激光投影機(jī)，其中2臺(tái)掛在頂部投射舞臺(tái)地面，還有2臺(tái)分別放置在后方左右兩側(cè)投射天幕和側(cè)幕條。運(yùn)用Disguise服務(wù)器調(diào)整投影貼圖的疊加和融合功能，使臺(tái)下觀眾能夠從銀幕上看到各種瓜果蔬菜從天而落（見(jiàn)圖2中的3，圖3中的2、6），配合歡快的舞蹈表現(xiàn)豐收的喜悅；巨大的黑色石塊從天空落下的影像（見(jiàn)圖2中的6），給人壓抑感；拉石塊的麻繩從左往右延伸，相互交織、又?jǐn)嚅_散去的視覺(jué)效果（見(jiàn)圖3中的5），配合演員左右拉伸的舞蹈動(dòng)作，表現(xiàn)開墾南泥灣與惡劣的自然環(huán)境作斗爭(zhēng)的艱難；地面凹陷，幾何狀的磨盤在窯洞前旋轉(zhuǎn)升起的視覺(jué)沖擊（見(jiàn)圖2中的2），與演員圍繞拉磨的動(dòng)作相呼應(yīng)；表現(xiàn)地面起伏運(yùn)動(dòng)的抽象三維方塊陣列從左往右運(yùn)動(dòng)一直延伸到天幕（見(jiàn)圖2中的1），抽象的幾何圖形動(dòng)畫與舞蹈動(dòng)作產(chǎn)生互動(dòng)，表現(xiàn)了鋤地翻土，人對(duì)大自然的改造，使整體視覺(jué)效果有真實(shí)感，同時(shí)還具有環(huán)境與表演的統(tǒng)一。

這些創(chuàng)作觀念和手法的運(yùn)用改變了傳統(tǒng)2D多媒體影像的創(chuàng)作模式，同時(shí)前期創(chuàng)作還運(yùn)用了Disguise服務(wù)器的預(yù)演效果的功能，使得設(shè)計(jì)時(shí)就能直觀地看到舞臺(tái)影像合成后的整體視覺(jué)效果，并及時(shí)做出調(diào)整。而在這之前只能通過(guò)經(jīng)驗(yàn)設(shè)計(jì)、預(yù)判，看到的是割裂的各部分空間單獨(dú)創(chuàng)作的視頻影像，因此舞臺(tái)合成時(shí)需要大量的時(shí)間進(jìn)行調(diào)整。

又如，為紀(jì)念南京大屠殺80周年在2017年12月上演的舞劇《記憶深處》中，設(shè)計(jì)者胡天驥將影像投射在舞臺(tái)頂部，通過(guò)外化的影像來(lái)表現(xiàn)人物的內(nèi)心世界。取自日本佛教般若的巨大模糊的人臉給人壓迫感（見(jiàn)圖4中的1），而抽象極簡(jiǎn)的幾何造型影像營(yíng)造出冷酷的氣氛（見(jiàn)圖4中的2、3）。

2017年，舞臺(tái)劇《摸金塊》也是運(yùn)用3D Mapping的多媒體設(shè)計(jì)理念，將影像前后錯(cuò)開投射在天幕和地面（見(jiàn)圖5），營(yíng)造魔幻的視覺(jué)效果。

2游戲引擎、實(shí)時(shí)渲染技術(shù)的發(fā)展及其在舞臺(tái)上的運(yùn)用

從1998年的電影《羅拉快跑》開始，游戲行業(yè)就潛移默化地影響并滲透到影視、舞臺(tái)演出行業(yè)，甚至改變了觀眾的審美習(xí)慣，使現(xiàn)代人習(xí)慣于游戲式的快節(jié)奏和主觀運(yùn)動(dòng)鏡頭。主流游戲引擎（ Unity、Unreal等）的開發(fā)者也野心勃勃地進(jìn)軍游戲行業(yè)之外的動(dòng)畫電影、演出行業(yè)。

計(jì)算機(jī)GPU（Graphics Processing Unit，圖形處理器）等硬件的發(fā)展，也使得游戲引擎實(shí)時(shí)渲染的優(yōu)勢(shì)得以充分發(fā)揮，省去了視頻制作所需的大量渲染時(shí)間，極大地提高了創(chuàng)作效率，使其跨界應(yīng)用到影視、現(xiàn)場(chǎng)表演成為可能。隨著這一技術(shù)的發(fā)展，在實(shí)時(shí)渲染和媒體互動(dòng)的基礎(chǔ)上，開始融入各項(xiàng)即興和實(shí)驗(yàn)表演藝術(shù)中，VJ式的實(shí)時(shí)操控開始流行（VJ與DJ的概念類似，將影像、動(dòng)畫等視覺(jué)元素做即時(shí)剪接，最重要的就是剪接，并添加效果）。

最近出現(xiàn)的“Audio Visual Show”（音樂(lè)視覺(jué)秀）就是將游戲引擎做好的游戲場(chǎng)景文件通過(guò)交互軟件（如Touch Design等）與MIDI調(diào)音臺(tái)相連接，視覺(jué)設(shè)計(jì)師和音樂(lè)設(shè)計(jì)一起即興操控視覺(jué)、音樂(lè)的變化，而不是演出前一幀一幀渲染好視頻文件，既方便快捷又具有很強(qiáng)的帶入感。

例如，2017年6月，在今日美術(shù)館“.ZIP未來(lái)的狂想”展覽閉幕式上的“Audio Visual Show”演出即是如此。視覺(jué)設(shè)計(jì)師使用了正在開發(fā)的游戲場(chǎng)景（見(jiàn)圖6），現(xiàn)場(chǎng)實(shí)時(shí)調(diào)整百萬(wàn)粒子的流動(dòng)效果，使其與音樂(lè)互動(dòng)。

同樣，2017年6月，鯨魚馬戲團(tuán)（XWhale Circus）樂(lè)隊(duì)的巡回演出也是如此。視覺(jué)設(shè)計(jì)師為每一首歌開發(fā)了一個(gè)游戲場(chǎng)景，現(xiàn)場(chǎng)樂(lè)隊(duì)演出時(shí)實(shí)時(shí)調(diào)整場(chǎng)景里的元素，使其與音樂(lè)相配合（見(jiàn)圖7）。

一些多媒體播放控制系統(tǒng)也與時(shí)俱進(jìn)，在保持原有視頻播放功能外也加入了編程和實(shí)時(shí)渲染功能。例如，播控系統(tǒng)Isadora就加入了Javascript語(yǔ)言和GLSL Shader實(shí)時(shí)渲染API語(yǔ)言，使其也具備一定的實(shí)時(shí)渲染能力，并具備與Leap motion、Kine ct等體感識(shí)別系統(tǒng)相結(jié)合進(jìn)行交互表演的功能（見(jiàn)圖8）。

3 VR、AR技術(shù)應(yīng)用及視覺(jué)呈現(xiàn)

一些前衛(wèi)的藝術(shù)家將還處于發(fā)展階段的VR、AR技術(shù)應(yīng)用于舞臺(tái)演出，帶有很強(qiáng)的實(shí)驗(yàn)性。例如，2017年12月萬(wàn)瑪尖措導(dǎo)演的VR概念實(shí)驗(yàn)舞臺(tái)劇《狼》就融合了VR拍攝、無(wú)線傳輸、無(wú)線頭顯等新技術(shù)及設(shè)備（見(jiàn)圖9）。

在2017年，美國(guó)卡耐基梅隆教授拉里（ Larry）在上海互動(dòng)藝術(shù)節(jié)上帶來(lái)了他和團(tuán)隊(duì)創(chuàng)作的AR戲?。ㄒ?jiàn)圖10），通過(guò)游戲引擎制作AR動(dòng)畫，演出時(shí)觀眾需要通過(guò)手機(jī)下載專門的應(yīng)用程序才能觀看。

4新媒體觀念劇

新媒體觀念劇是通過(guò)軟件（如創(chuàng)意編程軟件Processing、Max/M SP等）進(jìn)行創(chuàng)意編程，創(chuàng)造抽象的影像構(gòu)建虛擬世界，并通過(guò)具有體感識(shí)別的交互系統(tǒng)（如Kinect）與演員的表演形成互動(dòng)，還可加入無(wú)人機(jī)、機(jī)械臂、激光等工業(yè)化產(chǎn)品，為其賦予藝術(shù)屬性，變身為舞臺(tái)“演員”，與真人演員共同表演。這種新媒體交互裝置介入舞臺(tái)創(chuàng)作，形成了新的表演體系和形式，令人耳目一新；甚至使得新媒體藝術(shù)家能夠走出美術(shù)館，將交互新媒體裝置作品搬上舞臺(tái)。

2017年6月，由張藝謀執(zhí)導(dǎo)的全新觀念劇《對(duì)話·寓言2047》在國(guó)家大劇院首演，正如導(dǎo)演所說(shuō)： “這部作品在古老文化與現(xiàn)代科技的對(duì)話寓言中，描述了人類在飛速發(fā)展的科技面前經(jīng)歷的困惑，并帶來(lái)一種思考——科技與人的關(guān)系將往何處去？”

這場(chǎng)演出匯聚了七個(gè)國(guó)家的二十支團(tuán)隊(duì)參與，既有內(nèi)蒙古的長(zhǎng)調(diào)、北京的京劇、陜西的碗碗腔、泉州的木偶劇等各類中國(guó)傳統(tǒng)的藝術(shù)表演形式，也融人了德國(guó)的激光團(tuán)隊(duì)、瑞士的無(wú)人機(jī)技術(shù)團(tuán)隊(duì)、英國(guó)的Musion 3D全息團(tuán)隊(duì)等帶來(lái)的各種科技載體及其呈現(xiàn)形式。

演出中新媒體視覺(jué)呈現(xiàn)形式多樣，如《古琴-光劍》中變化的激光與表演者互動(dòng)（見(jiàn)圖11中的1），《小戲·掌間》中數(shù)十個(gè)變化的IPAD影像與演員融為一體（見(jiàn)圖11中的2），《偶戲·冷臂》中運(yùn)動(dòng)變化的機(jī)械臂與人共舞（見(jiàn)圖11中的3），《碗碗腔·矩舍》中美輪美奐的全息投影將人物沉浸于場(chǎng)景之中（見(jiàn)圖11中的4），《笙·如影》中隨著表演變換隊(duì)形的無(wú)人機(jī)將觀眾帶入魔幻般的世界（見(jiàn)圖11中的5），《織機(jī)·精靈》中運(yùn)動(dòng)的小球矩陣、視頻投影與演員的舞姿形成完整的視覺(jué)畫面（見(jiàn)圖11中的6）。這些節(jié)目都是通過(guò)創(chuàng)意編程來(lái)實(shí)現(xiàn)與表演的無(wú)縫銜接。

2017年12月，首演的新概念馬戲《山海經(jīng)4.0》（見(jiàn)圖12），運(yùn)用了無(wú)人機(jī)編程和運(yùn)動(dòng)捕捉技術(shù)，通過(guò)高新影像制作，將先鋒、流行舞蹈與傳統(tǒng)馬戲、雜技融合，探索馬戲、雜技表演的新形式，賦予冷冰冰的影的變幻如同神來(lái)的點(diǎn)睛之筆，精巧而精致，簡(jiǎn)約而婉約，在含蓄蘊(yùn)藉間就達(dá)到了“剎那即是永恒”的藝術(shù)效果。對(duì)室外寫實(shí)性舞臺(tái)而言，光影的變幻需要“大處借景”和“小處借影”，因觀眾的視覺(jué)容易被太多的因素干擾而分散，所以光影的變化要格外注意整體、層次、空間，要讓光影的“寫意”被觀眾捕捉和感知，讓創(chuàng)作者的主觀動(dòng)機(jī)和觀賞者的審美體驗(yàn)同步呼應(yīng)。

北宋畫家郭熙在《林泉高致》中提出，山水畫創(chuàng)作和鑒賞中有“可行可望”與“可居可游”兩種層次，指出“意”才是山水畫的靈魂所在。而光影之于舞臺(tái)，更像寫意山水之于水墨畫，優(yōu)雅意境之于現(xiàn)實(shí)生活。對(duì)于現(xiàn)代舞臺(tái)而言，燈光的作用早已遠(yuǎn)遠(yuǎn)超出了當(dāng)初簡(jiǎn)單照明的手段。觀眾首先入于視覺(jué)體驗(yàn)，之后因視覺(jué)反應(yīng)產(chǎn)生感情，再通過(guò)思維評(píng)判形成想象與審美。作為舞美設(shè)計(jì)人員，這種由感官體驗(yàn)而情感認(rèn)同，由情感認(rèn)同而審美判斷的過(guò)程，無(wú)疑具有相當(dāng)?shù)恼軐W(xué)意義。雖然，演出舞臺(tái)的視覺(jué)轉(zhuǎn)換過(guò)程有時(shí)可能是瞬間完成的，但是燈光師一定要認(rèn)真思考，如何把握運(yùn)用舞臺(tái)的每個(gè)細(xì)節(jié)，如何讓光影于無(wú)形中完成對(duì)表演風(fēng)格的配合，滿足演出內(nèi)在意義的需要，而不顯唐突或孱弱。這就要合理分配光與影的強(qiáng)弱，合理安排其明示與暗示效果，掌握斷、續(xù)、曲、直等復(fù)雜的表現(xiàn)手法，從而使光影表現(xiàn)出獨(dú)特的功能和韻昧，進(jìn)而達(dá)到“紗窗日落漸黃昏”和“猶有清風(fēng)借四鄰”的詩(shī)意和意境。（編輯張冠華）（上接第39頁(yè)）數(shù)字編程、工業(yè)產(chǎn)品以溫暖美好的幻覺(jué)。

演出中，采用Kinect體感識(shí)別系統(tǒng)來(lái)捕捉人體運(yùn)動(dòng)數(shù)據(jù)，將捕捉到的數(shù)據(jù)通過(guò)Processing軟件進(jìn)行編程處理，使影像中的虛擬人體作為舞臺(tái)演員動(dòng)作的模擬者，與皮條、吊環(huán)、滾環(huán)等多個(gè)雜技道具結(jié)合；同時(shí)，除了利用代碼編寫其人機(jī)互動(dòng)影像，還特意訂做了可編程的LED滾環(huán)作為道具，其編程基于類似Java語(yǔ)言的IDE集成開發(fā)環(huán)境，連接LED輸出裝置，控制LED的多種發(fā)光方式，并可添加任意圖片通過(guò)“pixelstarter”傳送至滾環(huán)，使其在滾動(dòng)時(shí)呈現(xiàn)多種夢(mèng)幻效果。演出綜合軟件、裝置等各種科技手段，發(fā)展出更為復(fù)雜的環(huán)境式人機(jī)交互，實(shí)現(xiàn)迷人的投影視覺(jué)畫面。

5結(jié)語(yǔ)

這些新媒體技術(shù)的發(fā)展給舞臺(tái)演出帶來(lái)的新變化使人更加期待，未來(lái)新媒體在舞臺(tái)演出中的應(yīng)用會(huì)更廣泛，能夠帶給觀眾更強(qiáng)的視覺(jué)效果和交互體驗(yàn)。但同時(shí)也不能迷信技術(shù)，過(guò)于追求技術(shù)的先進(jìn)、絢爛的視覺(jué)效果，而忽視演出作品本身內(nèi)容的創(chuàng)作。對(duì)于各種新媒體技術(shù)，只有恰當(dāng)?shù)倪\(yùn)用，才能為演出作品錦上添花，更好地實(shí)現(xiàn)技術(shù)與藝術(shù)的融合。