一 背景、意義及現(xiàn)狀

隨著數(shù)字技術的飛速發(fā)展，使得舞臺表演的形式和內容極大地擺脫了現(xiàn)實的束縛。舞臺表演空間呈現(xiàn)的技術和材料變得越來越豐富，借助 AR、MR、Mapping 等技術可以讓不同時代，不同空間的場景無縫鏈接。由于總是給觀者帶來一些比較新的前所未有的深刻體驗。越來越多的導演和設計師開始大量使用基于數(shù)字媒體內容的融景方式，這類投射方式在舞臺表現(xiàn)中的比重越來越大。

不過這些投射的內容以舞臺背景居多，就算是有角色內容也都是設定好的影像。但是數(shù)字藝術不僅可以混合原先獨立分割的介質和材料，突破現(xiàn)實，也可以突破人體機能的限制，更重要的是可以把觀者的反應、動作、做為數(shù)據(jù)傳入作品中，時時衍變出新的作品式樣。借助技術的加持，如何使角色利用數(shù)字特性與融景投射結合擺脫現(xiàn)實的束縛，并創(chuàng)造一些未有的視覺及交互體驗，還鮮有人嘗試。筆者在 2017年浙江省大學生雙創(chuàng)大賽閉幕式和 2019年杭州師范大學錢江學院 20 周年院慶晚會上兩次嘗試將智能 AI 卡通吉祥物搬上舞臺，制作成虛擬角色與真實主持人同臺主持表演。在這樣的一個過程中，如何利用新的手段和材料制作？是否僅僅只是一個技術的升級？融景投射的虛擬角色結合數(shù)字手段是否有一些新的審美策略成了我們在設計中關心的問題。

二 基于數(shù)字媒體的融景投射概述

1.融景投射介紹、原理

融景投射方式是指利用 AR、MR、Mapping、全息等一系列技術手段制作出的使虛擬影像可以貼合在現(xiàn)實空間中活動運行的投射方式。這一類投射中，虛擬影像不僅不受限于現(xiàn)實空間，甚至可以利用現(xiàn)實空間的不規(guī)則性而產生更加有張力的現(xiàn)場視覺作品。目前使用較多的就是擴展現(xiàn)實和全息投影兩種方式。

擴展現(xiàn)實是 AR、VR、MR 的統(tǒng)稱。AR 和 MR 其實采用的是 SLAM 技術（也叫空間定位與地圖構建）。通過計算機對空間的掃描（圖1），獲得場景的空間特征點的數(shù)據(jù)，然后根據(jù)位移時，每個特征點的路徑數(shù)據(jù)構建出場景并反求出場景中的虛擬攝像機。這樣添加的虛擬內容就能利用虛擬攝像機獲得和場景一樣的視角和移動距離。利用這種手段產生的虛擬內容，借現(xiàn)實環(huán)境的真實性引觀者入境，再配合虛擬內容進行拓展。使得觀者有一種神奇的感受。

全息投影1引自維基百科https://zh.wikipedia.org/wiki/%E5%85%A8%E6%81%AF%E6%91%84%E5%BD%B，2020年11月1日。，是一種記錄被攝物體反射光波中全部信息（振幅、相位）的照相技術，物體反射或者透射的光線可以通過記錄膠片完全重建，仿佛物體就在那里一樣。通過不同的方位和角度觀察照片，可以看到被拍攝物體的不同角度，因此記錄得到的像可以使人產生立體視覺。

說的通俗點，就是使用全息投影將虛擬內容投射到舞臺特制的半透半反幕上，投射幕一邊通過截留投射過來的影像，在舞臺空間中形成虛擬的角色形象，一邊又因為其半透明的介質可以將幕后的現(xiàn)實空間顯示出來，于是形成了虛擬影像與現(xiàn)實世界融合的效果。在市場上的全息影像的投射主要分為投影幕投射，和45 度角投射。（圖2）

圖1 空間特征點掃描

圖2 全息影像裝置結構

2.融景投射的現(xiàn)實應用

國外在2007年貓王的紀念演唱會使用融景投射復活了“貓王”引起了轟動。日本在2017年電視節(jié)目《金 SIM》中使用融景投射復活了鄧麗君。2016年張藝謀導演為 G20 峰會所導演的《印象西湖》更是融景投射的一次完美呈現(xiàn)。用全息方式投射出來的動態(tài)折扇在美麗的西湖上娓娓打開，在西湖水上形成倒影，梁山伯與祝英臺在這樣的背景前演繹自己的愛恨情愁，將他們倆的愛情故事推向了前所未有的高潮。

這些使用融景投射的作品，都在當時引起了不小地轟動。不過這些作品也都受到當時一些技術的限制。首先融景投射的數(shù)字內容都受拍攝時的設定內容的限制。拍攝的設定內容的質量和角度在后期很大程度決定了現(xiàn)場融景投射的質量，限制了融景投射的式樣體驗。其次這些內容受限于當時的數(shù)字技術，沒有形成與觀者互動，更不可以完成一些現(xiàn)實中不能完成的事。這樣由真實舞臺引人入境與數(shù)字制作內容所形成的張力就大打折扣。

由于數(shù)字媒體中游戲技術的快速發(fā)展，很多 CG 制作的手段有了很大進步。特別是實時渲染 CG 的發(fā)展為實時虛擬角色互動打下了很好的基礎。通過 2017年的虛擬角色“創(chuàng)創(chuàng)”和 2019年的虛擬角色“潮潮”兩次實踐制作的總結，可以發(fā)現(xiàn)一些融景投射虛擬角色的式樣特征。

三 虛擬角色融景投射設計特征歸納

1.數(shù)字媒體內容變化維度大

我們所說的數(shù)字媒體內容，通常指的是用計算機計算或模擬出來的圖像內容。常規(guī)的舞臺表演，真實角色受到很多條件限制，比如舞臺的大小，手中的道具，演員自身身體的機能。但虛擬角色的活動不像真人般受限制，位置變化維度大：可以移動到舞臺任何位置，例如可以從舞臺底部跳至舞臺的高處，再從舞臺高處蹦下來；甚至在空中轉體三周半這種動作都毫不費力，手中的道具也是信手拈來。在筆者設計的虛擬角色在表演的過程中，一邊快速變大到三倍于真人的大小，充滿整個舞臺，一邊又悠然自得地變回到正常大小，給人一種阿拉神燈般奇遇的感受。

除了角色，特殊效果 VFX 的表演更受場地的限制，在真實舞臺上安排一次爆炸先不論效果如何，單單安全就沒有保障。數(shù)字性代表著混合，可以將各種素材、各種本領數(shù)字化混合在一起，做出驚人的視覺效果。自然，基于數(shù)字 CG 手段的特效變化維度也就很大：如冰霜雨雪，爆炸煙霧等效果。例如，表演伊始“潮潮”伴隨著冰與火而閃現(xiàn)，給觀眾一種靈光乍現(xiàn)的感覺。

因此融景投射中使用基于數(shù)字媒體的內容制作空間較大，限制較小，可以塑造自然現(xiàn)實中無法企及的部分。為整體特殊的式樣特征打下基礎。

2.全息投射角色的融景性

所謂“融景性”就是虛擬角色不僅能和真實環(huán)境同時出現(xiàn)，還能和真實環(huán)境相協(xié)調。不管是通過空間定位技術，定位到真實空間的虛擬角色，還是通過特制的半透半反幕形成的舞臺空間中的虛擬角色，都能夠與背景及真實主持人融合在一起。例如我們制作的虛擬角色“潮潮”可以和舞臺中的背景融合。當時舞臺的背景設定為繁星點點的星空，我們可以看到舞臺上“潮潮”和主持人并排站著，并和背景中的星空形成一定的遮擋。無論觀者的位置和視角如何移動，在空間、顏色、等各個方面，基于數(shù)字制作的角色與內容都可以和舞臺上的其他物件以及真實主持人融合，虛擬角色在真實空間中的位置和真實空間的關系也不會扭曲，讓觀者感受到他們在同一空間也不覺得違和。

3.交互角色的真實性

這里的真實性是指在真實空間中角色外表渲染中，物理光線計算的真實性。不管使用哪一類材質，都可以搭配真實世界的光線反射處理，獲得有真實世界物理光照的效果，哪怕使用動畫卡通材質。隨著游戲技術的發(fā)展，現(xiàn)在實時渲染的 CG 角色在場景運行過程中不僅可以獲得較貼合物理現(xiàn)實的渲染效果，做到與靜幀渲染質量相差不大的效果，并且還可以獲得較高的幀率。

例如兩次實踐中，從虛擬角色的次反射材質皮膚，到角色身上的襯衫和馬甲布料，在實時渲染的情況下都獲得了和現(xiàn)場較貼合的效果。不僅在外觀上具有了物理光線的真實性特征，還抽離出真人的社交特征，像真人一樣可以與觀者互動。

基于 AI 的虛擬角色2如筆者2017年為浙江省大學生創(chuàng)新創(chuàng)業(yè)大賽頒獎典禮制作的“創(chuàng)創(chuàng)”和2019年為杭州師范大學錢江學院院慶晚會制作的“潮潮”。，可以對觀者的提問給予實時的互動回應。數(shù)字制作往往給人的感覺都是設定好的，但是基于 AI 的設定，這個角色有自己的喜怒哀樂，可以和觀者做隨機地交流。再匹配上夸張的視效與上天入地神奇的表演，更能吸引觀者的視覺神經，形成一種張力。我們在節(jié)目中就設定了臺下觀眾與虛擬角色的隨機問答環(huán)節(jié)來突出虛擬角色的真實性。

總結兩次的內容都使用真實的視覺特征，融合到現(xiàn)實環(huán)境中，輔以超越現(xiàn)實的表演。通過這些視覺特性的總結，我們也可以發(fā)現(xiàn)融景投射的數(shù)字角色遵循以上這些原則可以獲得更好的效果。

四 虛擬角色融景投射的審美策略

1.抽離真實，超越真實的原則

什么是數(shù)字媒體的真實？有人會說，現(xiàn)在的軟件工具和機器允許上千萬面的細節(jié)雕刻，可以大大增強虛擬角色的真實性。這里說的真實不是對客觀事物的原版照抄。格式塔心理學認為：任何形都是知覺進行了積極組織或建構的結果或功能，而不是客觀本身就有的。3[美]魯?shù)婪颉垡驖h姆著，滕守堯譯，《視覺思維》，四川人民出版社，1998年，第 3 頁。形是一種具有高度知覺水平的知覺整體，它從其他物體中清晰地分離出來，自身有著獨立于其構成成分的獨特性質。這里所說的真實不僅抽取了客觀特征，又包含了主觀的組織?？ㄍ槲锛葋碓从诂F(xiàn)實世界，又有基于的真實和客觀想象。例如：吉祥物“潮潮”的材質表達，在制作過程中既需要模擬真實的皮膚質感、光照物理效果，制作無異于真實世界的布料材質，如棉馬甲，襯衫等，又在形、色、造型方面又不等同于現(xiàn)實生活中真實的動物兔。但沒有一個觀者會否認這是一只在眼前現(xiàn)實空間活動的真實的兔子（圖3）。也沒有一個觀者會認為這是一只我們在花鳥市場常見的動物兔。

當然抽離一些特征進行混合編排僅僅只能使得這個形象活立起來。事實上，在表演情節(jié)設定中，超越這些抽離的特征才能激起觀者獲得更深刻的體驗。舉例說，使得虛擬卡通角色完成現(xiàn)實生活中無法企及的事，例如使用“魔法”。在造型和人物設定上這種抽離真實特征又出現(xiàn)在現(xiàn)實中的矛盾構成了這種式樣的張力基礎。

圖3 “潮潮”現(xiàn)場示意圖

2.表達人物內心演繹的原則

不管是哪種新的技術或是新的形式，如果沒有介入情感表現(xiàn)，生命體驗，那始終還是一種物理科技。融景投射技術如果使用不當往往給人的感覺就是技術新鮮感。電影一般以通過故事塑造角色，通過對角色鮮明性格的體驗來引導觀者共情。那么融景數(shù)字角色不僅適用于此原則，更不僅限于此原則。數(shù)字角色通過運用話語，細微的肢體語言，甚至超現(xiàn)實的表演技巧，利用類人般的物理真實和心理真實與超現(xiàn)實的表演來制造一種強大的張力。試想一下，一個類似于蜘蛛俠般的科幻劇里的科幻人物一邊只是在眼前的現(xiàn)實舞臺上做了幾個夸張的動作，上下亂蹦跶了一番，一邊是出現(xiàn)在觀者眼前的現(xiàn)實空間，并向他們表達他的真實想法，這兩種體驗哪一種更能感染觀者。很明顯這種對超現(xiàn)實的人物內心的臨場體驗與審美張力所造成的感受才是這種形式的關鍵。所以，融景投射角色不能僅僅是一種新顯示方式，還是合乎藝術的規(guī)律并生動演繹了角色的內心感受，才能創(chuàng)造出超凡的藝術體驗。

3.與觀眾互動的原則

數(shù)字媒體的本質是交融混合，不僅消融了各種材料的界限，也消融物質和虛擬的界限，更消融了觀者和作品的界限。首先觀者對現(xiàn)實中出現(xiàn)這樣的一個亦真亦幻的角色，心理上還是有一些懷疑，但是當這樣一個角色可以與觀者互動，與真人一問一答，特別是在舞臺上出現(xiàn)一些隨機發(fā)生的互動，就會讓觀者完全沉浸在數(shù)字角色的場域中。其次在節(jié)目的過程中，觀者的舉動（包括不限于喝彩、起哄）、觀者的提問都會被轉化為作品的數(shù)據(jù)直接影響角色的表現(xiàn)和表演深度，從而時時變換角色的形象塑造。因此交互推動了這種式樣的張力，使得這種式樣的矛盾更加穩(wěn)固，也使得這種矛盾張力更加多變。

五 全息實景劇的一些新嘗試和體驗

在兩次的融景投射制作中都使用數(shù)字角色與真實主持人同臺主持，并引入AI，與動態(tài)捕捉的虛擬角色進行融合切換。與 2017年在室內的融景投射虛擬角色“創(chuàng)創(chuàng)”實踐相比，2019年更是在戶外使用融景投射裝置制作了“潮潮”。雖然在技術上遇到了很多難題，也因為室外的自然環(huán)境因素增加了很多不確定性，但是室外的增強效果要遠遠大于室內的效果。在制作過程中，“潮潮”能夠不斷地產生張力來持續(xù)地吸引觀者，如：“潮潮”穿著和真人相同材質的服裝出現(xiàn)在現(xiàn)實世界中產生張力；和真人相似的“潮潮”可以通過完成真人所不能完成的動作和特效產生張力；能上天入地的“潮潮”又可以和真人觀者進行實時隨機地互動更將張力矛盾推向高潮；“潮潮”消失前最后的回眸一笑更將這種張力定格在觀者的心中，久久揮之不去。

在實踐中可以看到，融景投射的虛擬角色結合數(shù)字并非只是手段升級。不同于使用數(shù)字筆在平板上模擬各畫種，其可以模擬不同畫筆工具及不同類型紙張的效果。雖然方式得到了一定的擴展，但只是將線下工具數(shù)據(jù)轉化到線上。工具的特性及畫面結構等一些審美特征本質性問題并沒有改變。而使用 AI 數(shù)字工具并結合融景投射的手段并非簡單地將在屏幕中的影像換種展示方式，在這個過程中，虛擬角色從出場到最后消失，審美張力矛盾連續(xù)不斷地產生，并逐漸增強?？傊?，把依靠理性創(chuàng)造能力調動的數(shù)字科技與技術手段和依靠生命體驗感性創(chuàng)造力調動的視覺藝術相結合的方式創(chuàng)造出了一種新的充滿意外和能量的審美式樣。