沈 珉
(浙江工商大學(xué)人文與傳播學(xué)院,杭州,310012)
隨著2016 年消費(fèi)級(jí)虛擬現(xiàn)實(shí)(Virtual Reality,VR) 頭顯產(chǎn)品的面世,VR技術(shù)在文旅、教育、培訓(xùn)等一系列行業(yè)中的使用前景拓寬[1]。一般來(lái)說(shuō),廣義的虛擬技術(shù)包括了泛R(Reality)技術(shù)以及全息技術(shù)等虛擬技術(shù);而狹義的虛擬技術(shù)即指VR技術(shù)。VR產(chǎn)品是“具有沉浸感(能給用戶帶來(lái)真實(shí)感)和經(jīng)驗(yàn)性(滿足用戶認(rèn)知上的樂(lè)趣和各種需求)的”[2]。如果對(duì)媒介的價(jià)值評(píng)價(jià)只以其對(duì)信息傳播環(huán)境的高度還原為標(biāo)準(zhǔn), VR頭顯技術(shù)在呈現(xiàn)世界方面確實(shí)是裸眼3D影像與AR的進(jìn)階之物,因?yàn)樗愿印白匀弧钡姆绞秸宫F(xiàn)世界。
然而這里似乎忽略了一個(gè)問(wèn)題,即對(duì)媒介評(píng)價(jià)的標(biāo)準(zhǔn)似乎不應(yīng)僅以它對(duì)人類感官的延伸作為標(biāo)準(zhǔn);因?yàn)槊浇槌耸墙橘|(zhì)之外,還是體驗(yàn)者用之記錄思想的媒體。而這一媒體本身并不是隱形的,它以自己的方式提供給體驗(yàn)者觀察外部的角度與方式。媒體史上,無(wú)聲電影在形式上只是對(duì)多張照片進(jìn)行了組合。于是,一開(kāi)始人們僅關(guān)注它克服舊媒介局限性的方式,認(rèn)為電影只是活動(dòng)影像。這一認(rèn)識(shí)的局限引致實(shí)踐的簡(jiǎn)單化,于是早期電影只被用于記錄過(guò)程,從而遮蔽了電影的特殊價(jià)值。但之后其動(dòng)態(tài)組合的價(jià)值被挖掘出來(lái):通過(guò)機(jī)械鏡頭的多樣化使用以及剪輯手段的豐富化,電影表達(dá)出獨(dú)立的價(jià)值,從而成為新的藝術(shù)形式。在這個(gè)層面上,VR技術(shù)與裸眼3D影像技術(shù)的“沉浸感”“經(jīng)驗(yàn)性”有何區(qū)別的問(wèn)題就不再是從技術(shù)進(jìn)階層面上的分析,而是對(duì)新媒介技術(shù)意義創(chuàng)新可能性的探討。也即,VR的媒介特質(zhì)不止于它能彌補(bǔ)“之前對(duì)真實(shí)世界的延伸所丟失的元素”[3],更是因?yàn)樗芤浴熬呱怼毙问皆忈寖?nèi)容的意義。這里“具身”的含義,包含了“具身認(rèn)知”與“具身敘事方式”體驗(yàn)者與生產(chǎn)者雙方的故意。從體驗(yàn)者角度,VR有著更為著意凸顯的物理屬性:人的肉身與頭顯合成為一體,再加以手柄等輔助工具作為感知的基礎(chǔ)設(shè)備;在認(rèn)知過(guò)程中,體驗(yàn)者對(duì)于“視界”的探索聽(tīng)由身體指揮;在作品理解中,身體的行為方式構(gòu)成作品理解的偏向。從內(nèi)容生產(chǎn)角度,為了避免理解的歧義,生產(chǎn)者必須締造“視界”與具身體驗(yàn)者的關(guān)系,并把這種締造方式作為VR作品理解的一般模式。這就是具身敘事方式。換言之,“具身”的加入,對(duì)VR技術(shù)產(chǎn)品進(jìn)行了賦權(quán)。它使得內(nèi)容生產(chǎn)方式得到更新;這樣,一種新的媒介價(jià)值也得以產(chǎn)生。
因?yàn)閂R作品無(wú)時(shí)不需要主體加入,這與之前的媒介有所不同。之前的媒介,比如電視,不需要以主體參與為前提,其內(nèi)容世界是與主體世界并行的。在主體加入之前,內(nèi)容已經(jīng)設(shè)置完畢。主體只是侵入媒體之中感受意義而已。同樣,雖然裸眼3D影像與VR技術(shù)都提供主體與客體所處環(huán)境無(wú)縫對(duì)接的基礎(chǔ),但是卻有著根本不同。裸眼3D影像中主體的操作與屏幕呈像是獨(dú)立的:即便停止操作,呈像依然存在。而在VR中,技術(shù)身體的在場(chǎng)是媒體呈像的保證。VR圖景是以人為主體設(shè)置的圖景;圖像隨主體頭部運(yùn)動(dòng)而變化。這一特質(zhì)將體感設(shè)備、720度全視角以及立體圖像“聯(lián)系起來(lái),在歷史上是新的”[4]。
從具身認(rèn)知維度來(lái)說(shuō),較之裸眼3D影像,VR身體感知程度大大增加,從物理空間、視覺(jué)空間到心理空間都是具身的;認(rèn)知、身體和環(huán)境組成一個(gè)動(dòng)態(tài)統(tǒng)一體。
物理層面,裸眼3D影像缺乏物理層面的具身感,只能通過(guò)鍵盤、手柄或其他簡(jiǎn)單的設(shè)備來(lái)操縱;而VR的具身則在物理空間上作了延伸,頭顯設(shè)備、手柄、騎馬機(jī)、體感車、滑雪模擬機(jī)等提供了在虛擬現(xiàn)實(shí)中觀察的角度與方式。在物理空間內(nèi),還需要調(diào)整步速、身高等參數(shù),以便更好地融入虛擬現(xiàn)實(shí)之中。在視界層面,為了更好地匹配視界場(chǎng)景中的主體行為,用戶需要調(diào)整眼間距、身高參數(shù)、音響效果,熟悉手柄的功能等,以便獲得最真切的感受。
視界層面,裸眼3D影像設(shè)置了“框架”,使得立體景觀生成于框架之內(nèi)。在視角上,裸眼3D影像中,“外在的我”能夠看到“內(nèi)在的我”的行為。這一外在視角是“上帝式”的。VR技術(shù)中,外部視線與內(nèi)部視線完全一致。“我”的內(nèi)在視線決定了“我”的所見(jiàn)。世界只能從一個(gè)固定點(diǎn)觀察,且立體圖像隨主體觀看視角不斷變化;視覺(jué)是受限的、局部的。在效果上,裸眼3D影像呈現(xiàn)的是視野,用戶可以看到“事件”。VR中,“我”只能看到結(jié)構(gòu),看不到事件。
心理層面,雖然都是“代理游戲”(agency play),但是裸眼3D影像通過(guò)“代理游戲”分割了主體,并通過(guò)協(xié)商由計(jì)算機(jī)傳遞了操作意愿;VR技術(shù)中,通過(guò)“代理游戲”達(dá)到用戶視野與機(jī)器視野的合體,用戶接觸的是“軟圖像”[5],而不是真正的立體圖像,即通過(guò)計(jì)算機(jī)軟件計(jì)算得出的數(shù)據(jù)呈現(xiàn)結(jié)果。它與用戶形成對(duì)應(yīng)的超平面圖像。用戶始終站在臨界處,他的運(yùn)作影響時(shí)間和空間的通道。主體行為為機(jī)器掃描并且落實(shí)在虛擬現(xiàn)實(shí)之中。虛擬現(xiàn)實(shí)中的對(duì)象能夠以自己的方式對(duì)主體進(jìn)行回應(yīng)。這時(shí),體驗(yàn)主體通過(guò)與虛擬場(chǎng)景的持續(xù)交互來(lái)生成情緒,同時(shí)對(duì)環(huán)境進(jìn)行綜合感知從而做出決策。
VR技術(shù)讓我們的感知回到了前技術(shù)時(shí)代,同時(shí)又以身體的在場(chǎng)加固了感知的真實(shí)性。而這些真實(shí)的元素,“通過(guò)心靈的自我過(guò)程,重新形成自然界中根本不存在的復(fù)合體”[6]。
第一,VR技術(shù)內(nèi)容是“過(guò)程性”的,其“現(xiàn)實(shí)主義”是被建構(gòu)起來(lái)的。一種常見(jiàn)的認(rèn)識(shí),認(rèn)為VR內(nèi)容只是物理世界的數(shù)字化重現(xiàn),主要工作就是為“現(xiàn)實(shí)”創(chuàng)建一個(gè)副本。而顯然,這一觀念并未洞察VR技術(shù)的本質(zhì)。我們所謂的“真實(shí)”是心理感知的真實(shí),而非物理的真實(shí)。首先,我們不能保證體驗(yàn)的時(shí)間長(zhǎng)度與物理的時(shí)間長(zhǎng)度完全相同。VR技術(shù)中時(shí)間鎖定在空間之中?!懊浇闀r(shí)間所代表的不僅僅是電子媒介技術(shù)的進(jìn)步,也是電子媒介內(nèi)容的體現(xiàn)方式。”[7]VR的時(shí)間成為變量,成為意義生成的重要元素。其次,VR技術(shù)將體驗(yàn)作為作品生產(chǎn)的第一目標(biāo);只要行為與情緒是真實(shí)的,VR內(nèi)容就可以被理解為是真實(shí)的。正是在這一基礎(chǔ)上,VR技術(shù)場(chǎng)景能夠與簡(jiǎn)單的現(xiàn)實(shí)再現(xiàn)拉開(kāi)距離,虛幻場(chǎng)景的搭建才成為VR呈現(xiàn)的主要內(nèi)容。
第二,VR技術(shù)內(nèi)容是“持續(xù)交互的結(jié)果”[8],用戶既不是立體圖景的“沉浸”者,也不是立體圖景的旁觀者。VR技術(shù)獨(dú)特之處在于技術(shù)能把媒介(用戶身體)置于虛擬現(xiàn)實(shí)與用戶的關(guān)鍵距離。因此“沉浸”概念也需要修正。一般理解,所謂“沉浸”是生產(chǎn)圖像的物質(zhì)可以被遮蔽,從而直接進(jìn)入內(nèi)容之中;但是VR技術(shù)的“沉浸”,是以對(duì)代理游戲機(jī)制的適應(yīng)為前提,是對(duì)雙眼分離與結(jié)合的操作、對(duì)肢體活動(dòng)與感知分離的克服以及人造視野的習(xí)慣為條件的進(jìn)入。在視覺(jué)方面,“仰視”“俯視”“掃視”已經(jīng)可以做到,但是像“窺探”“審視”等具體的觀察必須與場(chǎng)景進(jìn)行交互聯(lián)系解讀才能進(jìn)行。同時(shí),與視覺(jué)相匹配的是肢體行為。雖然許多行為力求真實(shí),但是仍然未能脫離隱喻階段。比如奔跑,是通過(guò)雙臂擺動(dòng)來(lái)模擬;而飛翔,也多以上舉雙臂來(lái)替代。另外,“觸摸仍然是虛擬現(xiàn)實(shí)的最后一個(gè)前沿”[9]。觸摸的效果太過(guò)簡(jiǎn)單,觸摸意圖需要進(jìn)行轉(zhuǎn)譯;而這牽涉心理機(jī)制的運(yùn)作,也使得主體不能完全地“沉浸”。
第三,VR技術(shù)恢復(fù)了視線正常觀看的機(jī)制,釋放了體驗(yàn)主體行動(dòng)的自主性。虛擬現(xiàn)實(shí)頭盔顯示技術(shù)屬于克雷里(Kliegl)稱之為“生理光學(xué)”的范疇,能為用戶提供“正常眼睛的特性”,例如“周邊”“雙眼視覺(jué)”[10]。這一特性,區(qū)分于“凝視”的聚焦效應(yīng),使用戶能夠敏銳感覺(jué)視野中的變化,圖景因此圍繞用戶展開(kāi)。這一特殊性,使得生產(chǎn)者與接受者的權(quán)利被重新考量。“代理權(quán)的使用是數(shù)字作者表達(dá)自我的渠道”[11]。作者(設(shè)計(jì)者)總是想通過(guò)作品表達(dá)觀念;但在VR技術(shù)中,用戶是場(chǎng)景的體驗(yàn)者而非圖像的觀看者。設(shè)計(jì)者的主導(dǎo)性降低:預(yù)設(shè)情節(jié)、設(shè)計(jì)話語(yǔ)都會(huì)與實(shí)際的體驗(yàn)產(chǎn)生偏差。設(shè)計(jì)者必須向體驗(yàn)者作出更大妥協(xié),必須建構(gòu)以體驗(yàn)者為主體的情景。這使得技術(shù)操作成為作品意義獲得的手段。
由于身體的全程加入,使得“故事消失和世界出現(xiàn)”[12]。但是如果強(qiáng)調(diào)我們進(jìn)入“世界”則只是強(qiáng)化了媒介的透明性與媒體的獨(dú)立性,頭顯技術(shù)本身的價(jià)值便無(wú)從探討。而頭顯技術(shù)的價(jià)值在于“世界”通過(guò)持續(xù)交互與我們發(fā)生關(guān)系。這才是VR技術(shù)的價(jià)值。也就是說(shuō),具身不只是技術(shù)的特征,也是內(nèi)容生產(chǎn)方式。
在視界層面,怎樣進(jìn)行VR技術(shù)內(nèi)容導(dǎo)航是一個(gè)日益需要深入探討的課題。之前以電影蒙太奇方式來(lái)分析虛擬敘事顯然是捉襟見(jiàn)肘。因?yàn)榍罢咄ㄟ^(guò)對(duì)不同性質(zhì)鏡頭的剪輯與并列來(lái)創(chuàng)造意義;它是通過(guò)提前操作完成的。VR技術(shù)內(nèi)容的剪輯能力趨近于零;其景象更像安德烈·巴贊(André Bazin)的長(zhǎng)鏡頭。不同的是,巴贊的長(zhǎng)鏡頭是有明顯意圖的時(shí)間長(zhǎng)度呈現(xiàn);鏡頭的節(jié)奏感,停移、上下移動(dòng)還是匹配了主體的觀看或者體驗(yàn),運(yùn)鏡也是事先設(shè)計(jì)。而VR技術(shù)景象則是設(shè)計(jì)主體喪失了觀看主導(dǎo)權(quán)的呈現(xiàn)。
在對(duì)VR敘事進(jìn)行更為精確的描述時(shí),??怂埂す諣枺―. Fox Harrell)等提出“交互敘事的代理機(jī)制”[13]以關(guān)注設(shè)計(jì)師意圖的實(shí)現(xiàn)方式?!敖换ァ钡闹匾员怀尸F(xiàn)出來(lái),但這一分析并沒(méi)有揭示VR技術(shù)與屏媒技術(shù)VR的差異性。魯斯·艾爾特(Ruth Aylett)提出“突發(fā)性敘事”[14]聚焦于VR的角色行為反饋,認(rèn)為VR技術(shù)需要不斷制造角色肢體反饋的機(jī)會(huì)。列夫·馬諾維奇(Lev Manovich)則提出“本體蒙太奇”,認(rèn)為“本體論上不相容的元素在同一時(shí)間和空間”[15]的并置產(chǎn)生“本體蒙太奇”;要在虛擬現(xiàn)實(shí)內(nèi)部的3個(gè)維度上再加上外部物理維度,這樣兩個(gè)空間的關(guān)聯(lián)性才能被眼睛建構(gòu)起來(lái)。之后,哈利勒·德尼茲·特頓(Halil Deniz Tortum)提出“具身蒙太奇”概念以適應(yīng)VR技術(shù)內(nèi)容生產(chǎn)。在特頓看來(lái),“具身蒙太奇”是一種“可以用于實(shí)時(shí)虛擬現(xiàn)實(shí)體驗(yàn)的基本語(yǔ)法”,其特點(diǎn)是“對(duì)虛擬現(xiàn)實(shí)系統(tǒng)中可能存在的行為和感知的重新協(xié)商,即通過(guò)在行動(dòng)和感知之間創(chuàng)造意想不到的聯(lián)系來(lái)產(chǎn)生新的意義”[16]。
在VR技術(shù)中,敘事不能套用以往的敘事經(jīng)驗(yàn):它是由用戶體驗(yàn)來(lái)達(dá)成的,因此用戶的物理空間必須加以考慮。用戶主導(dǎo)了觀看的時(shí)空;因此,只能使用“突發(fā)性敘事”框架來(lái)進(jìn)行結(jié)構(gòu),而“這本質(zhì)上是一種基于角色的方法,而不是以情節(jié)為基礎(chǔ)的方法”[17]。生產(chǎn)的意圖只能在“角色設(shè)定—行為感知”這一框架中設(shè)定,也即,只能抽象地設(shè)置目的與事件,而不能確定具體的運(yùn)作序列或者情節(jié)序列。因此,VR技術(shù)擅長(zhǎng)于微事件的框架性敘事,擅長(zhǎng)于交互以觸發(fā)情節(jié)。比如,在VR作品《敵人》(Enemy)[18]中,只有當(dāng)用戶(主體)注視著對(duì)象眼睛時(shí),對(duì)象才會(huì)進(jìn)行回憶;而當(dāng)用戶(主體)的眼睛離開(kāi)對(duì)象時(shí),回憶就會(huì)停止。用戶(體驗(yàn)者)只有不斷地行走于敵對(duì)的兩個(gè)對(duì)象之間,才能理解整個(gè)故事。
但是僅作為敘事方式,具身蒙太奇依然不能作為生產(chǎn)意義的技術(shù)工具。具身蒙太奇進(jìn)一步的貢獻(xiàn)是,它可以在感覺(jué)運(yùn)動(dòng)中產(chǎn)生新的聯(lián)系圖式,從而將外部與視界加以聯(lián)系。理解這句話,意味著VR技術(shù)內(nèi)容生產(chǎn)的意義不在視界之內(nèi),而在于行為-視界的臨界之處。VR技術(shù)是將行為和感知分離和重新組合的系統(tǒng);它將真實(shí)世界中的行動(dòng)與具身體驗(yàn)置于知覺(jué)框架下進(jìn)行辯證認(rèn)知,從而產(chǎn)生意義。從這個(gè)層面上說(shuō),VR技術(shù)不能創(chuàng)造新知識(shí),但起碼創(chuàng)造了虛擬與現(xiàn)實(shí)結(jié)合的“新的表現(xiàn)形式”[19]。這一形式不斷推進(jìn)“感知—反饋”機(jī)制,從而將第三世界感知成為一個(gè)綜合的整體。比如VR技術(shù)利用眼睛的特質(zhì),將視野與視線作出區(qū)別,將雙眼觀看與單眼觀看分割,將凝視的結(jié)果加以體現(xiàn)。在VR作品《一個(gè)入口與兩個(gè)出口的醫(yī)院》(Hospital with one entrance and two exits)[20]中,當(dāng)用戶進(jìn)入手術(shù)室時(shí),他能夠看到室內(nèi)的所有設(shè)備,但是一旦停留時(shí)間超過(guò)2分鐘,一只眼睛的視界會(huì)模糊,幾秒鐘后才會(huì)再清晰起來(lái)。這一體驗(yàn),模仿了人在手術(shù)后意識(shí)從模糊到清晰的過(guò)程。顯然,觀看不只是獲得信息的方式,也成了一種體驗(yàn)者實(shí)施的行為。
另外,其他體感設(shè)備的作用也被開(kāi)發(fā)出來(lái)。在《石化墳?zāi)埂罚℅rave of the Petri fi ed Studio)[21]中,手柄的上下移動(dòng)模擬了人的移動(dòng),上下速度速度越快,移動(dòng)越迅速。只有上下擺動(dòng)手柄,才能移動(dòng)視界,走出通道,但是如果不對(duì)步速進(jìn)行控制,較快的移動(dòng)馬上會(huì)讓人感到惡心,見(jiàn)圖1。在場(chǎng)景配合下,行走模擬了漫游、匍匐前行等多種復(fù)雜行為。在VR技術(shù)中,主體行為都有后果,意義隱藏在行為之后。
技術(shù)化身體在場(chǎng)保證了VR技術(shù)意義的生成,而通過(guò)“交互-反饋”形成的“生理-心理”具身認(rèn)知遵循兩種認(rèn)知模式:一是聯(lián)覺(jué)與隱喻模式;二是“連續(xù)-脫體”模式。
VR圖景是建構(gòu)起來(lái)的,因此其所指就是能指。這也就意味著,VR頭顯視界是以隱喻方式存在著的;它是概念、情緒產(chǎn)生的基礎(chǔ)。
在VR視界層面,體驗(yàn)主體能夠感受各種色彩與方向。一種感官刺激作用、觸發(fā)另一種感官引起的心理現(xiàn)象就是聯(lián)覺(jué)。在各種感覺(jué)中,彩色感覺(jué)最容易引起聯(lián)覺(jué)。比如紅色引起興奮感,藍(lán)色產(chǎn)生沉靜感,黑色引起沮喪感;因?yàn)椤耙曈X(jué)-情感”內(nèi)部進(jìn)行了編碼與轉(zhuǎn)譯。又如看海明威的《永別了,武器》與聽(tīng)巴赫的協(xié)奏曲同感,看約翰·斯坦貝克(John Steinbeck)《憤怒的葡萄》與聽(tīng)伊戈?duì)枴し频侣寰S奇·斯特拉文斯基(Igor Fyodorovich Stravinsky)《火鳥(niǎo)組曲》同感,那就是“聽(tīng)覺(jué)-聲覺(jué)-情感”的聯(lián)覺(jué)。感官的體驗(yàn)最后都回歸到心理感受上來(lái)。比如上與下、里與外、前與后、開(kāi)與關(guān)、深與淺、中央與外圍等,“這些空間取向源自于我們擁有的身體的實(shí)際感受,它們?cè)谖覀兊奈锢憝h(huán)境中同樣起著作用。方位賦予一個(gè)空間方位一個(gè)概念”[22],比如“向上”代表“奮進(jìn),“向下”代表“沮喪”等。這就是方位隱喻。喬治·萊考夫(George Lakoff)和馬克·約翰遜(Mark Johnson)還指出,除了方位隱喻本體隱喻與結(jié)構(gòu)隱喻,都跟我們經(jīng)驗(yàn)中的系統(tǒng)關(guān)聯(lián):實(shí)際上“我們共同的概念體系與行為,本質(zhì)上是隱喻性的”[23]。
VR技術(shù)中,聯(lián)覺(jué)-隱喻的運(yùn)用在視界層面設(shè)置基調(diào)與節(jié)奏,而在深層結(jié)構(gòu)中則調(diào)動(dòng)情緒。在《藍(lán)色》(The Blue)[24]中,開(kāi)始視界層面出現(xiàn)深黑的海底,體驗(yàn)者在微弱的光線中,發(fā)現(xiàn)自己站在鯊魚的殘骸里,只有燈籠魚發(fā)著一點(diǎn)光亮在礁石里漫游,然后一只發(fā)光的水母從腳底浮起,你可與它互動(dòng)。隨著互動(dòng)頻率的加快,水母越聚越多,看去像一群燈籠。同時(shí)一群群發(fā)光的小魚向你涌來(lái),視野里充滿了神奇的銀光。這些光都向上流動(dòng)、漂浮,牽引體驗(yàn)者情緒不斷高漲。形成一個(gè)高潮之后,魚群游遠(yuǎn),水母游走,周圍又是一片黑寂。體驗(yàn)者在欣賞一幕海底奇觀,仿佛聆聽(tīng)了一曲交響樂(lè),樂(lè)章在休止符間結(jié)束,情緒也慢慢恢復(fù)平靜。又比如在《盲人筆記》(Notes on Blindness)[25]中,首先出現(xiàn)的是一片黑暗,在慢慢強(qiáng)化的聲音中漸漸出現(xiàn)熒光效果的人影,模仿盲人心境中的形象感知。在片中,用畫外音帶來(lái)視覺(jué)幻想,聽(tīng)到下雨的聲音,使你仰望天空,就能發(fā)現(xiàn)如針般密集的雨點(diǎn);聽(tīng)到打雷的聲音,光電如漣漪般擴(kuò)散—當(dāng)然,這是不符合物理原則的,但卻是幻覺(jué)中對(duì)于光雷的傳神描繪,客體隱要黑暗之上,全帶上熒光的效果,以匹配盲目的想象,見(jiàn)圖2。
圖2 《盲人筆記》幻景
變化與差異是具身蒙太奇意義生成的基礎(chǔ)。VR技術(shù)中意義生成的路徑極為短捷。這是因?yàn)槠渲械慕换ヮl率非常高:一個(gè)交互馬上讓位給另外一個(gè)交互;相同的交互會(huì)因?yàn)橹貜?fù)成為冗贅信息而受到漠視。意義需要在異質(zhì)對(duì)比中生成,比如在統(tǒng)一的時(shí)空中感受局部時(shí)空的差異,在身體行為與感知的分離中尋找到不同,在數(shù)據(jù)化的連續(xù)性呈現(xiàn)中開(kāi)啟斷裂與獨(dú)立的效果。整體與局部的互換、視界與心理的落差都屬于對(duì)立認(rèn)知??寺宓隆ち芯S-斯特勞斯(Claude Levi-Strauss認(rèn)為人類在認(rèn)知世界時(shí)采用就是雙極對(duì)立模式;人類既以對(duì)立來(lái)認(rèn)識(shí)世界,也以對(duì)立來(lái)建構(gòu)世界。因此,首先要考慮物理時(shí)空與虛擬時(shí)空的合理對(duì)接。如在《藍(lán)色》中設(shè)定了兩種時(shí)間:一種時(shí)間是體驗(yàn)者觀看的時(shí)間,可以看到鯊魚從遠(yuǎn)處游來(lái),但只要轉(zhuǎn)身,就能看到其他景象。這是體驗(yàn)者可以控制的時(shí)間。另一個(gè)時(shí)間是固定的時(shí)間,體驗(yàn)者看到鯊魚游過(guò)身邊時(shí)體驗(yàn)的是無(wú)法控制的時(shí)間;鯊魚慢慢經(jīng)過(guò),對(duì)著體驗(yàn)者眨動(dòng)眼睛。其次,是使用交互的力量打開(kāi)另外一個(gè)時(shí)空通道,進(jìn)行時(shí)空的局部切換。比如作品《時(shí)間的洗刷》(Timescrubbing)[26]中運(yùn)用的時(shí)光穿插方式:體驗(yàn)者處于室內(nèi),只要人一移動(dòng),便會(huì)觸發(fā)爆炸;因?yàn)槊總€(gè)對(duì)象都是一個(gè)觸發(fā)點(diǎn),爆炸后就有一段閃回視頻,這時(shí)時(shí)光倒回。
具身蒙太奇中也有合理的“脫體”(Disembodiment)效果,使主體的觀看保持在有效的臨界位置。所謂脫體,“就是主體不受虛擬現(xiàn)實(shí)的效果影響”[27]。在VR作品《敘利亞》(ProjectSyria)[28]中,開(kāi)始出現(xiàn)一個(gè)兒童對(duì)著用戶唱歌,他的身后是街鎮(zhèn)的繁忙景象。兒童往前走去,這里突然發(fā)出一聲巨大聲響,視野里硝煙彌漫,地上是肢體與建筑的殘片。但是炸彈對(duì)主體沒(méi)有影響,體驗(yàn)者在整個(gè)事件中保持了局外人的安全狀態(tài),但是又能體驗(yàn)到戰(zhàn)亂的場(chǎng)景。在《藍(lán)色》中,巨鯊游過(guò)面前,尾巴奮力甩動(dòng);這時(shí),體驗(yàn)者無(wú)論站在哪個(gè)角度,都受不到尾巴掃過(guò)的影響,但是能夠看到它劃出的弧線,鯊魚尾巴劃過(guò)甲板,體驗(yàn)者能夠看到它巨大的尾巴,但不受到傷害,見(jiàn)圖3。
圖3 《藍(lán)色》中的鯊魚
考慮到VR的技術(shù)屬性,“場(chǎng)景設(shè)計(jì)”“適應(yīng)用戶建模”“觸發(fā)設(shè)計(jì)”成為設(shè)計(jì)的3個(gè)關(guān)鍵詞;而從技術(shù)意義發(fā)現(xiàn)來(lái)說(shuō),如何貫徹具身方式才是重要的。
具身類型可以分成不干涉、局部干涉以及全面干涉3個(gè)類型,以匹配不同類型的VR作品。每種產(chǎn)品中,需要合理、有分寸地賦予用戶權(quán)利。比如,故事類型選擇不干涉?!逗胶r(shí)代》(Age of Sail)[29]選擇全片“脫體”的呈現(xiàn)方式:觀看者站在甲板上看到老水手和小姑娘對(duì)話,看到小姑娘掉入水中,可以體驗(yàn)到驚濤駭浪;但自始至終體驗(yàn)者只是近距離地觀看場(chǎng)景。觀看者不對(duì)客體世界進(jìn)行干預(yù),這樣的呈現(xiàn)保證了故事的完整性。即便體驗(yàn)者能夠進(jìn)行目光漫游,但始終不與場(chǎng)景進(jìn)行交互,見(jiàn)圖4。文旅觀光類型常常選擇局部干涉型。比如《藍(lán)色》中,體驗(yàn)被限定在特定區(qū)域之內(nèi),被允許與海葵、小海魚進(jìn)行互動(dòng),但不允許與巨鯊互動(dòng)。冒險(xiǎn)類型可選擇全面干涉型。比如《石化墳?zāi)埂分?,允許體驗(yàn)到處窺視,四處探險(xiǎn),以匹配作品懸疑與冒險(xiǎn)的定位。
圖4 《航海時(shí)代》的體驗(yàn)方式
不干涉、局部干涉以及全面干涉3個(gè)類型,代表了具身狀態(tài)由淺及深的程度。具身程度與思考深度不成正比。引用馬歇爾·麥克盧漢(Marshall McLuhan)“冷”“熱”媒體的概念,具身程度不高的VR技術(shù)是一種熱媒體,自己就有完整的結(jié)構(gòu)與飽滿的張力,不需要過(guò)多參與就能表述內(nèi)在的精神內(nèi)涵;而具身程度高的VR技術(shù)是一種冷媒體,它的潛在結(jié)構(gòu)需要在觸動(dòng)中開(kāi)啟,而故事也只能在交互中講述。以干涉程度來(lái)進(jìn)行VR作品的媒體冷熱的分類還是比較粗糙的,具身只是決定媒體冷暖的一個(gè)指標(biāo),除此之外應(yīng)該有更為精細(xì)的思考,因?yàn)閂R是一個(gè)混合媒體,包括了對(duì)步速節(jié)奏、色彩基調(diào)、音樂(lè)效果等的綜合運(yùn)用與組合,而這些因素可以展現(xiàn)為細(xì)膩與復(fù)雜的意義,也就具有更為細(xì)致的媒體冷熱的程度。
具身具有物理層面、視界層面以及心理層面3個(gè)層面;具身蒙太奇是3個(gè)維度的鑲嵌。從體感設(shè)備選擇到視覺(jué)層面的符號(hào)建模,從視聽(tīng)整合到交互層面的細(xì)節(jié)考慮,設(shè)計(jì)必須反復(fù)逡巡于體驗(yàn)者行為、感知以及客體對(duì)象營(yíng)建的諸多細(xì)節(jié)之中,選擇最有效的體驗(yàn)方式進(jìn)行蒙太奇嵌入。第一是主體維度。在VR技術(shù)中,用戶身體就被作為媒介與接口,用戶行為就是蒙太奇設(shè)計(jì)的起點(diǎn)。在VR作品《動(dòng)物視野》(In the Eyes of the Animal)[30]中,頭顯被涂成偽裝色,并飾以野草。人在戴上眼鏡后,就仿佛是一只蟄伏在草叢里的昆蟲,見(jiàn)圖5。又如,在觀看西湖的宣傳VR作品時(shí),體驗(yàn)的體感設(shè)備是一個(gè)熱氣球,可感受從地面升至高空的體驗(yàn)效果。第二是視界維度的嵌入。為了不使用戶迷失在漫游中,場(chǎng)景中要在特定對(duì)象上注入額外內(nèi)容,比如在《藍(lán)色》中,發(fā)銀光的小魚與輕快的音樂(lè)聲,巨鯊游動(dòng)與深沉的音效同時(shí)等。第三是在體驗(yàn)維度的嵌入。人機(jī)交流主要通過(guò)視覺(jué)與觸覺(jué)。在觸覺(jué)方面,通過(guò)手柄振動(dòng)來(lái)模擬重力或者拉力。比如在城堡游戲《實(shí)驗(yàn)室》(the lab)[31]中,當(dāng)用戶拿起弓箭,張弓搭箭后,就能體驗(yàn)到拉力,兩手臂拉得越開(kāi),弓拉得越飽滿。
圖5 《動(dòng)物視野》模擬昆蟲的觀看
約書亞·梅羅維茨(Joshua Meyrowitz)認(rèn)為,對(duì)于媒介與行為之間的關(guān)聯(lián)研究尚未得到足夠重視。媒介一旦成熟,其意義往往在傳播的信息中尋得,媒介本身的技術(shù)價(jià)值卻被忽略了。但是正如瓦爾特·本雅明(Walter Benjamin)揭示的那樣,必須對(duì)新媒介進(jìn)行探索,因?yàn)樾旅浇樘峁┝苏宫F(xiàn)知識(shí)的新形式。VR技術(shù)在媒介發(fā)展中體現(xiàn)了對(duì)時(shí)空的自由掌握以及對(duì)視像更為精致的呈現(xiàn)效果;但同時(shí),它也將主體裹挾在技術(shù)之中。對(duì)VR技術(shù)的考察也在這兩種視角下展開(kāi)。
VR技術(shù)以一種機(jī)械的方式展現(xiàn)非機(jī)械的自然,“對(duì)直接現(xiàn)實(shí)的觀照就成了技術(shù)之鄉(xiāng)的一朵藍(lán)色之花”[32];但這種呈現(xiàn)需要以人為界面進(jìn)行交互而獲得。在媒介技術(shù)分析中,麥克盧漢說(shuō)技術(shù)是人感官的延伸,媒介進(jìn)化趨勢(shì)是與人的感官感知方式完全契合的。媒介又是獨(dú)立的,會(huì)改變?nèi)说摹案泄倨胶狻???枴げㄆ諣枺↘arl Popper)更進(jìn)一步解釋了媒介在改變?nèi)烁泄倨胶庵腥绾物@示自身的價(jià)值。他認(rèn)為媒介技術(shù)屬于第三世界:它既有第一世界的物質(zhì)實(shí)體屬性,也有第三世界心靈之物的特征;媒介技術(shù)的深層結(jié)構(gòu)體現(xiàn)心靈思考的結(jié)果。如果將這兩種觀念加以綜合考慮,那么我們可以認(rèn)識(shí)到新的媒介技術(shù)提供了意義創(chuàng)新的可能,它在形式與思想結(jié)合的臨界處,提供思考的新路徑與新方式;它也因?yàn)樽约旱募夹g(shù)特征而型塑了傳遞的內(nèi)容,改變意義提煉的方式。當(dāng)然,這里媒介的價(jià)值仍然鎖定在傳播的范疇之內(nèi)。
此外,還需要考慮人與媒介之間的實(shí)際關(guān)系,關(guān)注人對(duì)媒介的介入方式與程度?!懊襟w不僅要幫助人們了解生存環(huán)境狀態(tài),還需要幫助人們理解這些狀態(tài)意味著什么。機(jī)器與算法可以更多地描繪現(xiàn)實(shí)圖景,但對(duì)現(xiàn)實(shí)圖景意義的解讀,在很大程度上還需要人?!盵33]VR技術(shù)需要在人與媒介的緊密協(xié)作中開(kāi)啟認(rèn)知模式,使主體成為技術(shù)生物體與傳播代理的一個(gè)環(huán)節(jié)。不過(guò),意義的生成終究還是來(lái)自于人自身,因?yàn)槿瞬恢皇且匝劬εc世界的摹本相遇,而是時(shí)刻能夠以內(nèi)心來(lái)感悟景象,并由景象的觸發(fā)一次次回歸到內(nèi)心。在對(duì)媒介的征服中,人還是可以把對(duì)媒介的征服結(jié)果巧妙地投射到自身的理解結(jié)構(gòu)之中,從而獲得意義生產(chǎn)的主宰權(quán)。
注 釋
[1]高紅波.中國(guó)虛擬現(xiàn)實(shí)(VR)產(chǎn)業(yè)發(fā)展現(xiàn)狀、問(wèn)題與趨勢(shì)[J].現(xiàn)代傳播,2017(2):8-9
[2]堆堆.坐地日行八萬(wàn)里,F(xiàn)ramestore讓你在家中游遍世界[EB/OL].[2016-03-07]. https://www.lieyun wang.com/archives/55165
[3][美]保羅·萊文森著;鄔建中譯.人類歷程回放: 媒介進(jìn)化論[M].重慶:西南師范大學(xué)出版社,2017:6
[4] Schneider W X, Deubel H. Visual Attention and Saccadic Eye Movements: Evidence for Obligatory and Selective Spatial Coupling[M]//Findlay J M, Walker R, Kentridge R W. Studies in Visual Information Processing. North-Holland, 1995:317-324
[5] Hoelzl I, Marie R. Softimage: Towards a new theory of the digital image[M]. Intellect Books,2015:132
[6] Hacker P M S. The intellectual powers: A study of human nature[M]. John Wiley & Sons, 2013 :259
[7][17] [美]約書亞·梅羅維茨著;肖志軍譯.消失的地域:電子媒介對(duì)社會(huì)行為的影響[M].北京:清華大學(xué)出版社,2002:45
[8] Uricchio W. The algorithmic turn : Photosynth, augmented reality and the changing implications of the image[J]. Visual Studies, 2011, 26(1): 25-35
[9] Martínez J, García A S, Oliver M, et al. The Sense of Touch as the Last Frontier in Virtual Reality Technology[M]//Negrón A P P, López G L, Aguirre H R O. Virtual Reality Designs. Boca Raton : CRC Press, 2020 :218
[10] Hitzel E. Effects of peripheral vision on eye movements: A virtual reality study on gaze allocation in naturalistic tasks[M]. Springer, 2015 :11
[11] [13] Harrell D F, Zhu J. Agency Play : Dimensions of Agency for Interactive Narrative Design[C]//AAAI spring symposium: Intelligent narrative technologies II. 2009: 44-52
[12]秦蘭珺.互動(dòng)和故事:VR的敘事生態(tài)學(xué)[J].文藝研究,2016(12):101-111
[14] Aylett R.Emergent Narrative, Social Immersion and Storification[EB/OL].[2022-11-12].http ://www.macs.hw.ac.uk/~ruth/Papers/narrative/NILE00.html
[15] Manovich L. The language of new media[M]. Cambrige,Mass:MIT press, 2002:147
[16] [27] Tortum H D. Embodied montage: reconsidering immediacy in virtual reality[D].Massachusetts Institute of Technology, Department of Humanities, 2016 :51,68
[18]《敵人》(Enemy),Karim Ben Khelifa作品。作品介紹了當(dāng)代沖突中對(duì)立雙方的戰(zhàn)斗人員、包括以色列和巴勒斯坦的士兵等的心理話語(yǔ),旨在引起對(duì)戰(zhàn)爭(zhēng)的反思。
[19][32][德]瓦爾特·本雅明著;王才勇譯.機(jī)械復(fù)制時(shí)代的藝術(shù)作品[M].北京:中國(guó)城市出版社,2002:43,49
[20]《一個(gè)入口與兩個(gè)出口的醫(yī)院》(Hospital with one entrance and two exits),HalilDenizTortum作品。作品介紹了醫(yī)院的建筑、設(shè)施等概況。
[21]《石化墳?zāi)埂罚℅rave of the Petrif i ed Studio),Burning Eyes出品,根據(jù)美杜莎的神話創(chuàng)作。
[22][23]Lakoff G, Johnson M. Metaphors we live by[M].Chicago :University of Chicago press,1980:15,20
[24]《藍(lán)色》(The Blue),Wevr, Inc.作品。作品體驗(yàn)海洋深處的壯觀景象。
[25]《盲人日記》(Notes on Blindness)法國(guó)短片。是基于盲人John的失明感覺(jué)和心理體驗(yàn)的沉浸式虛擬現(xiàn)實(shí)項(xiàng)目。每個(gè)場(chǎng)景使用雙耳音頻和實(shí)時(shí)3D動(dòng)畫技術(shù),呈現(xiàn)出從John的音頻日記中解析出的記憶、時(shí)刻和特定地點(diǎn),從而在“超越視野的世界”中創(chuàng)造沉浸體驗(yàn)。
[26]《時(shí)間的洗刷》(Timescrubbing),Rachel Rossin創(chuàng)作的沉浸式虛擬現(xiàn)實(shí)裝置作品。作品探討了技術(shù)是否永恒的問(wèn)題。
[28]《敘利亞》(ProjectSyria),Emblematic Group作品。作品反映敘利亞內(nèi)戰(zhàn)。
[29]《航海時(shí)代》(Age of Sail),Google Spotlight Stories出品的VR動(dòng)畫短片。影片講述一艘老帆船在大西洋中漫無(wú)目的地航行。老船長(zhǎng)不愿意接受蒸汽船時(shí)代的到來(lái)。他救了一位從遠(yuǎn)洋客輪上掉下來(lái)的年輕女孩。女孩說(shuō)服老船長(zhǎng)重燃信心。最后兩人遭遇兩船撞擊,小帆船沉入水中。而兩人在重返水面時(shí)重拾了信心。
[30]《動(dòng)物視野》(In the Eyes of the Animal),Marshmallow Laser Feast作品。作品嘗試以動(dòng)物的眼睛觀看自然景觀。
[31]《實(shí)驗(yàn)室》(the lab)是一項(xiàng)VR游戲?qū)嶒?yàn)合集。包括了實(shí)驗(yàn)室進(jìn)行修理機(jī)器人、保衛(wèi)城堡、領(lǐng)養(yǎng)一只機(jī)械狗及等小場(chǎng)景體驗(yàn)。
[33]彭蘭.未來(lái)傳媒生態(tài):消失的邊界與重構(gòu)的版圖[J].現(xiàn)代傳播(中國(guó)傳媒大學(xué)學(xué)報(bào)),2017,39(1):8-14+29