(北京電影學(xué)院影視技術(shù)系，北京 100089)

1 引言

隨著5G 信息傳輸技術(shù)的快速發(fā)展，VR 領(lǐng)域中的重要藝術(shù)表現(xiàn)形式之一——VR 影片再次成為研究與創(chuàng)作的熱點。2014 年，F(xiàn)acebook 收購Oculus 使得VR 逐漸走進大眾視野，但早在資本大量涌入VR 領(lǐng)域之前，虛擬現(xiàn)實(Virtual Reality，簡稱VR)技術(shù)已發(fā)展十余年。虛擬現(xiàn)實技術(shù)研究者Grigore Burdea 和Philippe Coiffet 認為，VR 是用計算機圖形學(xué)構(gòu)造出酷似真實世界的仿真模擬，是多種感覺通道的實時模擬和實時交互，圍繞人的視覺、聽覺、觸覺、嗅覺和味覺以及心理學(xué)來研究的，界定其具有“3I”特性，即交互性(Interaction)、沉浸性(Immersion)、想象性(Imagination)，并指出VR 關(guān)鍵特征是實時的交互性。

基于“現(xiàn)代計算機圖像技術(shù)、數(shù)字互動控制技術(shù)以及數(shù)字立體放映技術(shù)的第三代數(shù)字互動立體電影”的概念中指出，“互動”是第三代電影的核心特征。當虛擬的“真實”拓展了觀眾的想象空間，包裹住了人們的視聽感受，仿真世界的回應(yīng)便成為人們的期待。因此，所有對VR 的期待全部聚焦在虛實無縫結(jié)合的沉浸度下，人與機器的深度“交互”上。事實上，近年來VR 電影作為細分領(lǐng)域，在交互能力上進行了從敘事方法到技術(shù)手段的探索。但是，VR 所具有的360度全景視野對傳統(tǒng)電影的鏡頭語言是一種顛覆，自身的敘事手法仍然沒有找到標準法則，交互技術(shù)的應(yīng)用也始終處于實驗階段，因此VR 影片的交互性研究仍需要進一步探索與創(chuàng)新。

本文梳理了近些年VR 影片交互的難點以及從業(yè)者在VR 交互性上的探索實踐經(jīng)驗，介紹了VR影片以敘事驅(qū)動的交互策略，分析了人工智能技術(shù)在增強VR 影片交互上的應(yīng)用可行性，并給出VR影片交互性應(yīng)用策略上的一些思考與解決方案。

2 研究背景

交互性是VR 的核心特征之一，但卻對傳統(tǒng)電影的敘事模式提出了巨大挑戰(zhàn)，人們不僅需要在VR 交互設(shè)備方面更進一步，還需要克服新技術(shù)所帶來的產(chǎn)業(yè)與思想的沖擊，目前來看VR 影片交互性的探索道路并不平坦。

2.1 VR影片的交互難度

“VR 媒介系統(tǒng)中的互動性越高，就越難以推進傳統(tǒng)意義上那種線索清晰明確的故事敘事”。VR影片讓以導(dǎo)演為核心的電影藝術(shù)表現(xiàn)形式面臨話語權(quán)的轉(zhuǎn)移，觀眾完全開放地主導(dǎo)時空發(fā)展則削弱了VR 影片創(chuàng)作意圖的“作者性”，對“如何表達”提出了全新要求。傳統(tǒng)電影的“畫框”理論以及在“框”視覺指導(dǎo)下的鏡頭語言將在VR 全景視野中失去意義，電影藝術(shù)積累百年的蒙太奇法則面對VR時遭到瓦解，這引起眾多電影人的恐慌。著名導(dǎo)演斯皮爾伯格在戛納電影節(jié)上稱VR 是“危險的媒介”，他認為“VR 非常危險是因為它給觀眾提供360度的觀看場景，這樣一來，導(dǎo)演如何‘講故事’就成了大問題”。

同時，VR 影片在時空構(gòu)建、交互方式及敘事方式等方面呈現(xiàn)出的游戲性特征，讓學(xué)術(shù)界對VR電影與VR 游戲的界線充滿擔憂。有學(xué)者認為不必將電影與VR 技術(shù)相結(jié)合，也有學(xué)者認為通過VR媒介將形成介于電影與游戲之間的第三種藝術(shù)表現(xiàn)形式，還有人認為VR 將成為繼第七藝術(shù)電影之后的第八藝術(shù)。新技術(shù)的應(yīng)用在被廣泛接受的過程中勢必充滿坎坷，在交互性上的探索更要先摒棄對傳統(tǒng)電影藝術(shù)的過度保護與偏執(zhí)態(tài)度，才能在新的敘事方式上探索出合適的道路，向前推進創(chuàng)新與實踐的進程。

另一方面，VR 交互技術(shù)尚未完全成熟?；陬^戴式設(shè)備的體感交互技術(shù)，會給觀眾造成眩暈感、方位感缺失、頭部負擔過重等不適。其次，VR 動作捕捉系統(tǒng)受到有效使用區(qū)域限制，計算機的智能交互仍局限于點擊、劃動等較為單一的非自然人機交互方式。此外，高質(zhì)量的VR 影像對技術(shù)格式、VR 放映標準、網(wǎng)絡(luò)傳輸速度等提出了更高要求，有待進一步發(fā)展與完善。

2.2 VR電影交互性的探索

從攝影術(shù)發(fā)明起，人們復(fù)制或再造世界的影像都逃不過邊界的限制。畫幅里的內(nèi)容是導(dǎo)演展示故事和傳達思想的天地，從傳統(tǒng)的4∶3影像到超寬銀幕2.35∶1，突破畫框無限地接近與融入影片情境是人們近乎執(zhí)著的追求。然而，VR 影像幫人們打破了演員與觀眾之間的“第四堵墻”，滿足了人們從窺探夢境到走進夢境的愿望。在VR 營造的“幻境”中，為了使用戶完全相信并信任自己所處的虛擬環(huán)境，除了通過視覺、聽覺、觸覺等體感交互帶來“逼真感”之外，與VR 虛擬場景中的元素交互也會增加觀眾的“沉浸感”。雖然交互技術(shù)限制仍有待突破，但VR 影片創(chuàng)作者們從來沒有放棄在交互性上的探索。

3 VR影片交互策略分析

VR 技術(shù)以頭戴式顯示器為播放媒介，改變了影像的生成和顯示方式，創(chuàng)新了藝術(shù)形態(tài)與美學(xué)法則。在VR 影片的交互設(shè)計中，一種是以影片的創(chuàng)作內(nèi)容為交互中介，以敘事方法引導(dǎo)觀眾積極參與到影片體驗中，獲得精神及思想上的交流。另一種則是通過VR 交互設(shè)備為媒介，以觀眾肢體動作觸發(fā)促使主角交互感官，從而進行相應(yīng)的電影表達。

3.1 以敘事驅(qū)動的VR影片交互策略

在電影自身發(fā)展的過程中，與觀眾的“交互”一直是寄予在“充分調(diào)動觀眾的情感，以實現(xiàn)二者在精神世界的交互之上”，事實上這也是許多傳統(tǒng)藝術(shù)實現(xiàn)與其受眾交互的主要方式。VR 影片在一定程度上延續(xù)了傳統(tǒng)電影中這種精神上的交互方式，并且通過讓主體角色積極參與故事情節(jié)的建構(gòu)，來加強觀眾的情感共鳴。

3.1.1 化身性交互

傳統(tǒng)電影里，觀眾是作為旁觀者而出現(xiàn)，無論故事發(fā)生的現(xiàn)場多么溫馨、悠閑、美好或者恐怖、血腥、緊張，觀眾都是作為第三者置身事外的。在演員與觀眾之間永遠有“第四面墻”，而VR 影像打破了這面墻。VR 影片通常將觀眾預(yù)設(shè)到某一個虛擬位置并使其參與到情節(jié)建構(gòu)中，通過虛擬攝像機或者虛擬人物為觀眾在虛擬世界中構(gòu)建一個化身，從而達到使觀眾產(chǎn)生身臨其境的沉浸感的效果。在VR 影片中，主要有兩種化身性交互方式：一種是讓觀眾化身為故事中的主角，以第一視角的角色身份參與到敘事中；另一種是讓觀眾化身為某個虛擬攝像機視角，通過主觀動作影響影片中人物及事物狀態(tài)，達到與虛擬世界進行交互的目的。這兩種交互方式都能使觀眾從心理層面和視覺角度感受到自己與故事的聯(lián)動性。

圖1 觀眾以某個攝影機的位置觀看恐龍

3.1.2 敘事引導(dǎo)性交互

傳統(tǒng)電影中，導(dǎo)演可以通過鏡頭組接的蒙太奇方法讓觀眾注意到敘事中的某些細節(jié)，通過某種有意味的鏡頭表達想法或者通過特寫讓觀眾感受到一些微妙情緒。而在VR 影片360 度的全景畫面中，鏡頭包含大量信息，需要觀眾自己去挖掘與劇情發(fā)展相關(guān)的細節(jié)。VR 影片中為了避免觀眾損失掉重要的情節(jié)線索，目前最常用的方法是通過拍攝技巧去引導(dǎo)觀眾的視線與注意力，如燈光的使用、明暗度的對比，或者配樂等，通過敘事引導(dǎo)性交互方法引起觀眾與“幻境”的主動交互。在Oculus制作的VR 影片《Lost》中，觀眾的虛擬位置是在一片幽暗寂靜的森林中，偶爾有幾聲動物的叫聲，導(dǎo)演給觀眾足夠的時間去環(huán)顧四周環(huán)境。當觀眾熟悉了所處的環(huán)境之后，此時不遠處的草叢中發(fā)出聲響，觀眾的注意力隨著聲音的引導(dǎo)看到影片的主角——一個手掌機器人。除了運用聲音引起互動之外，在VR 影片敘事中通過光線進行視線引導(dǎo)也是比較成熟的引導(dǎo)性交互手法之一。在《Lost》結(jié)尾，從天空中射下來一道光束，吸引觀眾將目光投向天空，此時看到一個巨大的機器人，光束正是它的眼睛，他正在尋找自己遺失的手掌。整個影片并沒有深層的內(nèi)涵與寓意，但是包裹式的影像與酷似真實世界的仰視角度，在觀眾視覺觀感上強調(diào)了機器人的巨大體型，在心理層面上引起了觀眾的沉浸感。

圖2 《Lost》中俯身查看的巨大機器人

3.2 以技術(shù)驅(qū)動的VR影片交互策略

視聽覺的沉浸感并不是VR 的終點，感官的模擬和交互才是VR 要實現(xiàn)的目標。VR 誕生之初，頭戴顯示器及傳感手套就是仿真過程中實現(xiàn)交互所使用的首要設(shè)備，其原理都是將小型屏幕置于頭盔內(nèi)部，通過光學(xué)目鏡將屏幕上的影像投射在視網(wǎng)膜上成像。同時，交互硬件系統(tǒng)中整合的各種傳感器，能夠感知體驗者頭部甚至肢體的位置、姿態(tài)和運動，這些數(shù)據(jù)回傳給計算機后，由計算機進行演算并將相應(yīng)的畫面映射到小型屏幕，從而完成交互。

人機“對話”是科學(xué)家追求的終極命題。在提出VR 設(shè)想之初，人們希望能夠像使用鼠標和鍵盤控制計算機一樣，可以通過手勢、體勢、書空、眼動等自然人機交互方式實現(xiàn)對計算機發(fā)出指令并得到反饋的效果。傳感器仍然是VR 交互有待突破的主要關(guān)鍵技術(shù)，它能夠幫助人們與多維VR 信息環(huán)境進行交互，比如，當你在VR 影像中觸摸冰涼的河水時，傳感器能夠通過模擬水溫來刺激你抽回自己的手，又或者當你在VR 影像故事中被攻擊，傳感器會模擬擊打、電流或者震動等效果，從而加深你對影片中故事的臨場感。

為了實現(xiàn)人與計算機之間的交互，必須要結(jié)合動作捕捉技術(shù)，需要將手勢、體勢、運動路徑等多通道數(shù)據(jù)或指令傳送給計算機，同時把模擬結(jié)果反饋給用戶，以解決多個感知通道的交互。在第九屆北京電影節(jié)VR 展映單元，VR 動畫《精靈鼠小弟》嘗試運用多種交互方式，觀眾可以通過手柄將皮球扔出去救出小老鼠。除了三維位置、手勢，視覺與聲音反饋也可以通過VR 頭顯設(shè)備或者聲音接收器計算得到。在《精靈鼠小弟》中，觀眾也可以通過視網(wǎng)膜捕捉和眼球追蹤來實現(xiàn)與精靈鼠點頭或搖頭的互動。

隨著移動終端的普及，消費級VR 產(chǎn)品的相繼推出，以及商業(yè)模式的逐漸成熟，全景體感交互的VR電影已初具形態(tài)。未來，更加成熟完善的動作捕捉系統(tǒng)也將推動VR 影片交互性進一步發(fā)展。

4 基于人工智能的VR影片交互策略

“如果想要觀眾與媒介系統(tǒng)之間的人機溝通達到自然順暢的效果，就要求系統(tǒng)擁有良好的人機交互和機器學(xué)習(xí)功能”?；诂F(xiàn)有VR 影片的交互能力，距離完全自由的交互還有一段距離。VR 電影是處于傳統(tǒng)電影與游戲之間的，既滿足于導(dǎo)演表達意圖又能在一定范圍內(nèi)實現(xiàn)交互的第三種藝術(shù)表現(xiàn)形式，因此，建立在此共識基礎(chǔ)上的交互策略是本文的研究重點。隨著人工智能技術(shù)的迅猛發(fā)展，人工智能領(lǐng)域涉及的人機交互、深度學(xué)習(xí)、自然語言處理、知識圖譜、計算機視覺、生物特征識別、AR/VR 等關(guān)鍵技術(shù)在各行各業(yè)得到廣泛應(yīng)用，與影視行業(yè)的交叉融合逐漸深入，取得了一定的階段性成果，人工智能技術(shù)也將助力VR 影片交互性的發(fā)展與創(chuàng)新。

4.1 基于行為預(yù)判的交互

人工智能擁有強大的學(xué)習(xí)能力，利用深度學(xué)習(xí)算法對大量數(shù)據(jù)進行分析并從中總結(jié)規(guī)律作出預(yù)判，通過不斷接收數(shù)據(jù)迭代學(xué)習(xí)自我優(yōu)化。

在影片敘事過程中，利用深度學(xué)習(xí)分析人類在看到某些故事情節(jié)時的反應(yīng)數(shù)據(jù)，設(shè)置出針對不同反應(yīng)類型的多種敘事方法，從而引導(dǎo)觀眾進入不同的故事發(fā)展方向，進而增強VR 影片的交互性與豐富性。例如，在看到某些恐怖鏡頭時，有些觀眾可能會害怕地閉上雙眼或轉(zhuǎn)過頭，而有些觀眾則非常大膽興奮地尋求恐怖場景中的線索。閉上眼睛的觀眾有可能錯過情節(jié)發(fā)生時的細節(jié)，影響到信息的接收。這時影片可以根據(jù)觀眾的反應(yīng)借助人工智能給出不同的敘事走向，如為膽小的觀眾在后期的故事中添加鏡頭展現(xiàn)他當時所忽略的細節(jié)，而可以為大膽的觀眾再加深恐怖氣氛。目前在VR 影片的基礎(chǔ)人機交互中，頭部位置捕捉、眼動捕捉技術(shù)等已經(jīng)非常成熟，如何結(jié)合多種用戶數(shù)據(jù)和深度學(xué)習(xí)算法進一步推斷用戶情感狀態(tài)、預(yù)判交互行為等，將成為基于行為預(yù)判的交互性應(yīng)用策略的主要技術(shù)突破口。

4.2 基于實時場景渲染的交互

計算機視覺在目前的影視行業(yè)應(yīng)用較為深入，包括了三維視覺、動態(tài)視覺、視頻分析與理解等。目前VR 影片的分辨率雖然已達到8K 以上，但是作為360度球形視界來看，清晰度仍然不能達到正常的影像觀感，這也是引起人們使用VR 產(chǎn)生暈眩感的原因之一。人工智能能夠做到實時圖形渲染，當觀眾的視點轉(zhuǎn)動時，可以快速根據(jù)轉(zhuǎn)動動作提高視點轉(zhuǎn)動方向的畫面分辨率，而除視線范圍之外的畫面可以降低畫面要求，能夠一定程度上減緩VR影片的數(shù)據(jù)處理壓力，在影片的交互上則可以減少延遲性等問題。

人工智能可以根據(jù)特征點自動生成影像畫面。在VR 影片的體驗中，經(jīng)常會有人抱怨自己被“釘”在某個位置，身處逼真的仿真環(huán)境，觀眾第一反應(yīng)或許就是走近看看，而VR 影片實際上仍然是平面的，在某種程度上并不能滿足這種“走近觀看”的心理訴求。如果計算機視覺能夠?qū)崿F(xiàn)實時場景渲染，或許VR 影片的制作者們可以通過拍攝同一個視角的多個深度，再通過觀眾觀看影片時類似邁步的動作觸發(fā)，進行畫面深度的實時切換，去滿足觀眾“走近”的這種需求。

借助人工智能中智能化的機器學(xué)習(xí)算法，如基于對抗式生成網(wǎng)絡(luò)(Generative Adversarial Net works，GAN)的圖像生成算法等，通過對大量影視數(shù)據(jù)集的學(xué)習(xí)與訓(xùn)練，自動生成符合情節(jié)需要的場景和元素?！癇ig-GAN”算法可以利用已訓(xùn)練的獨立模型生成相關(guān)的高質(zhì)量圖片，也可以借助自然語言處理算法對描述性文字進行分析和理解，從而達到生成更準確的圖像的效果。人工智能算法或?qū)⒏淖冇耙暪I(yè)中三維制作的“作坊式”生產(chǎn)，有望提高VR 影片中素材的生成速度，并且能夠結(jié)合觀眾的語音文字輸入，提升相應(yīng)的場景或元素模型的生成效果。

圖3 BigGAN 生成的逼真圖像①

4.3 語音交互

圖4 手機語音交互

VR 影片中角色之間的語言交互也是重要的VR影片交互性發(fā)展方向之一。在VR 影片所模擬的真實環(huán)境中，語言交互比文字交互更加自然和舒適，而虛擬世界與角色進行語音交流，需要強大的語言儲備系統(tǒng)與辨別觀眾語音的能力，人工智能的自然語言處理方法能夠很好地解決這一問題。語音識別是自然人機交互的基礎(chǔ)性技術(shù)之一，已經(jīng)得到了廣泛應(yīng)用，人與機器的語音交互在生活中隨處可見，并且已經(jīng)做到了可以自由流暢對話的程度。這為將人工智能語音交互系統(tǒng)引入VR 影片交互奠定了基礎(chǔ)，將會進一步提高VR 影片的沉浸感。

除上述人工智能技術(shù)在VR 影片敘事過程中能夠促進交互性之外，人工智能算法也被廣泛地嵌入到人機交互設(shè)備上，這也為推動VR 交互設(shè)備的發(fā)展作出了突出貢獻。目前VR 人機交互輸入設(shè)備有操作桿、眼動跟蹤器、位置跟蹤器、手勢跟蹤器、數(shù)據(jù)手套等，輸出設(shè)備則以頭戴顯示器為主。傳統(tǒng)的VR 輸出設(shè)備大多是為VR 游戲所設(shè)計，由于頭戴式顯示器所帶來的眩暈感會使得體驗者無法長期舒適觀看VR 影片，這也對VR 影片觀看時長有所限制，因此，面向VR 影片的新型放映設(shè)備還有待進一步探索與創(chuàng)新。

5 結(jié)語

本文總結(jié)了VR 影片在交互性上的發(fā)展現(xiàn)狀，結(jié)合現(xiàn)有的VR 影片所存在的交互性問題及應(yīng)用難點，分析VR 影片交互性在敘事和技術(shù)方法上的不足與研究重點，提出基于人工智能的VR 影片交互性應(yīng)用新策略。VR 影片只有解決自然交互問題，才能真正擁有“靈魂”，而不是成為傳統(tǒng)電影的另一種播放媒介。愿本文能夠為VR 影片交互的探索者和開發(fā)者們提供一些思考與啟示，推動VR 影片在交互性上向前更進一步。

注釋

①圖片來源：https∶//baijiahao.baidu.com/s? id=1638550289665184172&wfr=spider&for=pc。