柯巖·托瑪瑟利 達(dá)米安·托瑪瑟利 尹 倩

(1.約翰內(nèi)斯堡大學(xué)，約翰內(nèi)斯堡市 2146；2. 廣州大學(xué)人文學(xué)院，廣州 510006)

一、媒介、信息、渠道(1)此小節(jié)摘自柯巖·托瑪瑟利和達(dá)米安·托瑪瑟利合著的圖書(即將出版)(Bagliari,Amir.2021.Open Semiotics.Paris:L’Hartman)。同時(shí)我們也要感謝已故的阿諾德·謝普森(Arnold Shepperson)所作的貢獻(xiàn)，他在未發(fā)表的筆記中撰寫了這篇文章的第一小節(jié)。

“媒介”(medium)一詞在歷史上被用來描述報(bào)紙(通過陸運(yùn)/空運(yùn)/海運(yùn))、廣播/電視(通過電磁傳輸)和電影(celluloid，賽璐珞)。盡管使用電纜、電信和衛(wèi)星所涉及的技術(shù)可與后者相媲美，但這里的關(guān)鍵術(shù)語(yǔ)不是“媒介”，而是“信息”(對(duì)內(nèi)容進(jìn)行編碼的符號(hào))。

在這種語(yǔ)境下，認(rèn)識(shí)“信息”需要理解古典修辭學(xué)概念與實(shí)用主義邏輯三段論之間的關(guān)系，即一個(gè)命題必須在這個(gè)世界上有某種可以觀察到的效果才具有意義。信息是數(shù)據(jù)(符號(hào))的一種有組織的表示形式，其本身將多個(gè)單一符號(hào)轉(zhuǎn)換為一個(gè)新的復(fù)合符號(hào)。在皮爾斯符號(hào)學(xué)中，一個(gè)符號(hào)要成其為一個(gè)符號(hào)，就需要一個(gè)解釋項(xiàng)(interpretant)(在解釋者頭腦中產(chǎn)生的意義)。信息將多個(gè)單一符號(hào)轉(zhuǎn)換為一個(gè)對(duì)象，這個(gè)對(duì)象的符號(hào)作為一個(gè)解釋項(xiàng)基于一些(一組)習(xí)慣進(jìn)行操作。

在模擬時(shí)代，主要的支配媒介與符號(hào)被編碼成信息的地方有關(guān)。例如，艦隊(duì)街(Fleet Street)的《泰晤士報(bào)》(TheTimes)一旦編輯、撰寫和印刷，就會(huì)將各種不同的符號(hào)組合成信息，并以一種易于理解的印刷形式呈現(xiàn)出來。報(bào)紙的媒介是鐵路運(yùn)輸，后來也包括高速公路和航空運(yùn)輸。在城市層面的實(shí)物交付包括卡車、自行車和人工交付。讀者作為報(bào)紙的接受者，會(huì)產(chǎn)生解釋項(xiàng)。這些解釋項(xiàng)中只有一小部分是在艦隊(duì)街產(chǎn)生的，后者是報(bào)紙被編寫(編碼)和印刷的場(chǎng)所。

事實(shí)上，工業(yè)時(shí)代的媒介是將知情數(shù)據(jù)(informed data)從組成空間轉(zhuǎn)移到解釋空間(變得“知情”)的一種方式。電影、廣播和電視使書籍、報(bào)紙和連續(xù)劇集中在一起。所有這些通常都依賴于信息在這些空間之間的物理傳輸。

新的數(shù)字媒體涉及不同的活動(dòng)。例如，創(chuàng)建一個(gè)網(wǎng)頁(yè)，包括將符號(hào)組織成信息，而頁(yè)面本身則成為一個(gè)合并的符號(hào)，類似于艦隊(duì)街的編輯實(shí)踐。電子通知發(fā)送給訂閱者、聽眾，以及身處家中、工作地點(diǎn)或往返路途中的觀眾。該頁(yè)面上傳到文件服務(wù)器，并定期添加更多信息。這就是在生產(chǎn)和銷售階段所發(fā)生的一切。

相比之下，報(bào)紙、廣播和電視(有線電視和電視節(jié)目)則交由解釋者們。他們負(fù)責(zé)制作和包裝多個(gè)符號(hào)(數(shù)據(jù))，成為一個(gè)新符號(hào)的對(duì)象——包括報(bào)紙版本、廣播或電視節(jié)目——并以一種完整的形式到達(dá)其要被解釋的地方。馬歇爾·麥克盧漢(Marshall McLuhan)(2)McLuhan M.Understanding Media:The Extensions of Man[M].New York:McGraw Hill,1964.正是由于充分理解了這一點(diǎn)，而將“媒介”劃分為“冷媒介”和“熱媒介”。然而，事實(shí)上，具有上述特質(zhì)的不是媒介，而是信息。媒介相對(duì)而言只是一個(gè)啞管道，信息沿著它被傳輸?shù)浇忉岉?xiàng)的語(yǔ)境中?！靶畔ⅰ睂?shí)際上是作為符號(hào)封裝(程序、版本)的對(duì)象。

相比之下，虛擬現(xiàn)實(shí)(virtual reality，簡(jiǎn)稱VR)則必須考慮用戶訪問網(wǎng)站以獲取特定“事件”或“服務(wù)”的方式的結(jié)果。個(gè)體觀眾可以進(jìn)入任意數(shù)量的網(wǎng)站，在這些網(wǎng)站上，他們可以與其他參與者一起參與交互式體育活動(dòng)(格蘭披治大賽游戲)、戰(zhàn)略游戲(帝國(guó)時(shí)代)、智力游戲(國(guó)際象棋、撲克、橋牌)以及共享交流空間(用戶列表；聊天室、社交媒體)。這些活動(dòng)保留了一些類似特性。它們有一個(gè)共同特性，即作為解釋項(xiàng)，為了完成符號(hào)(即體驗(yàn)敘事事件)，人們必須到達(dá)那里，而不是在這里等待。

二、早期電影符號(hào)學(xué)

在定義電影形象的本質(zhì)時(shí)，20世紀(jì)60年代的理論家引用了符號(hào)學(xué)(semiology)，即對(duì)以敘事語(yǔ)言為基礎(chǔ)的符號(hào)系統(tǒng)的研究。電影符號(hào)學(xué)不同于其他電影理論，它并不關(guān)注形式和目的，也不關(guān)注觀眾和觀眾的詮釋，而是關(guān)注代碼的解釋。符號(hào)學(xué)是所有代碼和子代碼的集合，這些代碼和子代碼結(jié)合起來，在媒介(電影)的表現(xiàn)過程中產(chǎn)生意義或含義。電影符號(hào)學(xué)假設(shè)電影的代碼將觀眾“定位”到一個(gè)導(dǎo)演預(yù)期的特定解釋性反應(yīng)中。除了異常(即錯(cuò)誤)之外，這個(gè)理論并不能解釋不同的觀眾反應(yīng)。

克里斯蒂安·麥茨(Christian Metz)(3)Metz C.Film Language:A Semiotics of the Cinema[M].New York:Oxford University Press,1974.(4)Metz C.Language and the Cinema[M].Berlin:De Gryuter Mouton,1974.確定了電影(和電視)的五種基本代碼：1) 圖像；2) 包括書面材料在內(nèi)的圖形印跡；3) 演講；4) 音樂；5) 噪聲和音效。然而，麥茨忽略了故事世界結(jié)構(gòu)的物理和修辭方向(時(shí)空)，在某些情況下，例如虛擬現(xiàn)實(shí)，它成為通過周圍的越軌感官通道解釋信息的內(nèi)在因素。在虛擬現(xiàn)實(shí)之中，文本圍繞著觀眾，觀眾是參與者(生產(chǎn)者-消費(fèi)者)；參與者通過選擇敘事結(jié)果，將解釋項(xiàng)的地位從一級(jí)存在提升到三級(jí)存在(參見表1)。與虛擬現(xiàn)實(shí)不同，基于幀的電影則更為靜態(tài)，并且可以在不同的觀看場(chǎng)景之間進(jìn)行復(fù)制。

表1 顯象學(xué)圖表：虛擬現(xiàn)實(shí)(5)皮爾斯符號(hào)學(xué)關(guān)系的性質(zhì)要求任何符號(hào)都只能是與解釋項(xiàng)的對(duì)象有關(guān)的真實(shí)的(即對(duì)行為產(chǎn)生影響)符號(hào)。而在皮爾斯的數(shù)學(xué)分解上，關(guān)聯(lián)就是函數(shù)意義上的映射。因此，“象似符-指示符-象征符”的三大符號(hào)分類法就是指符號(hào)正確映射到其指代對(duì)象上的方式。皮爾斯三分法的圖表，將符號(hào)與話語(yǔ)、哲學(xué)和與人類狀況有關(guān)的現(xiàn)象學(xué)聯(lián)系起來。此圖表通過可能體驗(yàn)世界的表現(xiàn)和再現(xiàn)的方式，借由意義和情感的多個(gè)維度進(jìn)行設(shè)計(jì)，以便讀者閱讀。

顯象學(xué)(phaneroscopy)是對(duì)顯象(phaneron)的描述，顯象是所有呈現(xiàn)在大腦中事物的集合。查爾斯·皮爾斯(Charles Peirce)將現(xiàn)象學(xué)(phenomenology)劃分為一級(jí)存在、二級(jí)存在和三級(jí)存在，包括觀察、感知和解釋(由解釋者給出)的活動(dòng)，這些活動(dòng)構(gòu)成了顯象。(6)Hartshorne C,Weiss P,Burks A W.The Collected Papers of Charles Sanders Peirce (8 Vols.)[M].Cambridge,MA:Harvard University Press,1931-1958.例如，虛擬現(xiàn)實(shí)體驗(yàn)不僅呈現(xiàn)給大腦，還憑借活躍的有機(jī)體，通過情感解釋項(xiàng)(emotional interpretant)和能量解釋項(xiàng)(energetic interpretant)的運(yùn)作而內(nèi)化。虛擬現(xiàn)實(shí)能讓人產(chǎn)生“在那里”(being there)的參與感(中心思想，一級(jí)存在，感覺和情感體驗(yàn))。同時(shí)，演員/行動(dòng)者/觀眾/解釋者通過能量解釋項(xiàng)操縱攝像機(jī)/投影儀。能量解釋項(xiàng)解釋了身體的生理反應(yīng)，這是由頭戴式顯示器(用模擬術(shù)語(yǔ)來說即投影儀)實(shí)現(xiàn)的。情節(jié)選項(xiàng)(例如角色)是通過二級(jí)存在進(jìn)行選擇的。這些功能是通過多體驗(yàn)式虛擬現(xiàn)實(shí)實(shí)現(xiàn)的，觀眾可以通過它產(chǎn)生一種穿越電影拍攝場(chǎng)景(mise-en-scène)的感覺。這樣，觀眾/參與者可以在預(yù)先編程的故事情節(jié)(三級(jí)存在，象征性，關(guān)系性)和放映或廣播電影中所產(chǎn)生的知識(shí)之間進(jìn)行選擇。敘事是一種組合操作，根據(jù)事件的時(shí)間序列所驅(qū)動(dòng)的內(nèi)容以尋求順序的封閉意義。事件是敘事的最小單位。(7)Metz C.Film Language：A Semiotics of the Cinema[M].New York:Oxford University Press,1974:24.

要在增強(qiáng)現(xiàn)實(shí)(Augmented Reality，簡(jiǎn)稱AR)和虛擬現(xiàn)實(shí)/游戲中詮釋該符號(hào)，必須參與信息處理過程。游戲和交互媒體與以用戶為中心的交互性作斗爭(zhēng)，因?yàn)橹匾那楦薪忉岉?xiàng)很難被喚起。提取和發(fā)現(xiàn)之間存在非正式關(guān)系。(8)25 Thoughts on Virtual Reality Filmmaking[EB/OL].(2015-05-08)[2022-06-25].https://www.unit9.com/project/25-thoughts-on-vr-filmmaking-by-anrick/.在基于提取的修辭中，比如虛擬現(xiàn)實(shí)和類似《神秘島》(Myst)這樣的視頻游戲，參與者在某種程度上被邀請(qǐng)通過啟用導(dǎo)航交互的線索向文本行進(jìn)。(9)Tomaselli D.Cosmology of the Relativistic Multi-Modal Chronotype[D].KwaZulu Natal province:University of KwaZulu-Natal,2020.這些設(shè)備通過情節(jié)鏈驅(qū)動(dòng)情節(jié)，其中“在強(qiáng)制情節(jié)推進(jìn)期間，所有非必要的情節(jié)活動(dòng)暫停”，(10)Instructive Level Design[EB/OL].[2022-06-08].https://tvtropes.org/pmwiki/pmwiki.php/Main/InstructiveLevelDesign.這是因?yàn)椴捎昧藰O簡(jiǎn)設(shè)計(jì)，沒有分散注意力的結(jié)果。

這與“拒絕用戶”符號(hào)學(xué)(如電影)形成了鮮明對(duì)比。增強(qiáng)現(xiàn)實(shí)和虛擬現(xiàn)實(shí)在人類思維和計(jì)算機(jī)輸出之間架起了感官橋梁。當(dāng)涉及解釋者的“一級(jí)存在”體驗(yàn)時(shí)，感官通道就會(huì)顯著地滲透到時(shí)空信息管道中。符號(hào)學(xué)在分析虛擬經(jīng)驗(yàn)主義(virtual empiricism)方面是有效的，因?yàn)樗姓J(rèn)解釋項(xiàng)的作用。(11)Barricelli B R,Gadia D,Rizzi A,et al.Semiotics of Virtual Reality as a Communication Process[J].Behaviour &Information Technology,2016,35(11):879-896.這從根本上改變了講故事的形式，從觀眾/聽眾的被動(dòng)接受變成了身體操縱信息的主動(dòng)參與。因此，分布和形式有一些共同點(diǎn)。感官的“分布”意味著它依賴于“一級(jí)存在”，因?yàn)樗谏眢w內(nèi)部傳播感官/運(yùn)動(dòng)功能——身體成為信息(投影)分布過程的延伸；身體成為介質(zhì)和解釋者，通過三級(jí)存在連接一級(jí)存在。虛擬現(xiàn)實(shí)中的身體不僅僅是一個(gè)載體，或身體的延伸，正如麥克盧漢的理論框架一樣；相反，它既是媒介，也是內(nèi)容/信息。

與此相反，如上所述，互聯(lián)網(wǎng)用戶轉(zhuǎn)向生產(chǎn)者，其網(wǎng)頁(yè)被動(dòng)地位于文件服務(wù)器上，直到被訪問為止。網(wǎng)站和用戶之間發(fā)生的媒體操作不等同于報(bào)紙、廣播或電視，因?yàn)榫W(wǎng)站在激活時(shí)會(huì)提供提示。點(diǎn)擊這些按鈕則會(huì)激活一系列的提示，幾乎是趨近無限的提示。

這里提出的基于感官的綜合符號(hào)學(xué)解釋了由虛擬現(xiàn)實(shí)投影設(shè)備實(shí)現(xiàn)的四維(4D)敘事中觀眾操控的“交互式”游戲選擇。如果空間通過參與而獲得意義，那么具有主動(dòng)性的觀者將就空間的直觀和感官體驗(yàn)進(jìn)行有意義的交流。空間以物質(zhì)體驗(yàn)為前提；事實(shí)上，空間以一切為前提：2D/3D/4D抽象的現(xiàn)實(shí)世界……現(xiàn)實(shí)……意義……存在。

作為身體——有大腦(產(chǎn)生解釋項(xiàng))的解釋者——虛擬現(xiàn)實(shí)和相關(guān)技術(shù)在未來可能會(huì)在身體的擬像之間傳遞思想。模仿很可能超越自然，甚至提供超自然，從而產(chǎn)生一種新的變形的具身化結(jié)果。“不存在”(或“多存在”)成為新的虛擬的“不存在”的動(dòng)態(tài)狀態(tài)。網(wǎng)絡(luò)將取而代之，而我們的身體卻在他處。自拍和自我沉醉的屏幕文化也表明了數(shù)字鏈接。覆蓋于這些之上的是一個(gè)日益增長(zhǎng)的消費(fèi)導(dǎo)向型社會(huì)的(遠(yuǎn)程)個(gè)性化[(tele)individuality]特質(zhì)，當(dāng)然是在數(shù)字鏈接的網(wǎng)絡(luò)化城市中。這些路徑是無窮無盡的，因此電影理論需要重塑，以預(yù)見這些發(fā)展。

三、從符號(hào)學(xué)(Semiology)到符號(hào)論(Semiotics)

愛森斯坦使用蒙太奇技術(shù)——一種辯證的剪輯技術(shù)，將一系列短鏡頭按照順序排列，以濃縮空間、時(shí)間和信息——在一定程度上阻礙了電影語(yǔ)言的發(fā)展，從而限制了有限的序列而不是整部電影的意義。換言之，蒙太奇繞過了語(yǔ)言學(xué)或符號(hào)學(xué)派生的語(yǔ)法，創(chuàng)造了一個(gè)由一系列并列圖像拼貼而成的整體；這些圖像太過于豐富，以致普通語(yǔ)法功能無法對(duì)其加以解釋。甚至聲音和有聲圖片的出現(xiàn)，也沒有使愛森斯坦更趨向采用一種語(yǔ)言學(xué)的方法。在《管弦樂對(duì)位宣言》(ManifestofororchestralCounterpoint)中，愛森斯坦、格里戈里·亞歷山德羅夫(Grigori Alexandrov)和普多夫金接受噪聲和音樂，但不接受言語(yǔ)。(12)Eisenstein S M,Pudovkin V I,Alexandrov G V.A Statement [EB/OL].[2022-06-10].https://soma.sbcc.edu/users/davega/xNON_ACTIVE_CLASSES/FILMST_101/06_FILM_MOVEMENTS/SovietMontage/ASTATEMENTfilmsound_eisenstein_pudovkin.pdf,1928.

符號(hào)學(xué)的基本問題即：在電影研究中，什么樣的語(yǔ)言最為重要?？死锼沟侔病湸耐ㄟ^討論將電影視為一種包含雙重表達(dá)的語(yǔ)言系統(tǒng)來闡釋這一點(diǎn)。他認(rèn)為，在這個(gè)基本層面上，電影沒有最小的單位或最小的實(shí)體。他認(rèn)為電影既沒有音素(phonemes)，也沒有語(yǔ)素(monemes)，甚至沒有任何能與一個(gè)簡(jiǎn)單的名詞相提并論的事物。他的結(jié)論是，電影是一種表達(dá)媒介，而不是一種交流系統(tǒng)。它遵循臨時(shí)規(guī)則，而不是剛性規(guī)則。因此，他從未處理語(yǔ)言類型的問題。

交流行為的符號(hào)學(xué)分析需要區(qū)分三維實(shí)體語(yǔ)言(substance languages)(如英語(yǔ))和四維時(shí)空語(yǔ)言(如電影，以及新媒體中所包括的空間成像和相關(guān)故事敘述的內(nèi)容)。符號(hào)學(xué)家在傳統(tǒng)上使用的是實(shí)體語(yǔ)言，而純粹的電影語(yǔ)言理想情況下最好使用時(shí)空語(yǔ)言。在傳統(tǒng)的電影分析中，許多符號(hào)學(xué)的弊端是無法確定如何以及何時(shí)應(yīng)用這兩種語(yǔ)言，或者何時(shí)可以合并。符號(hào)學(xué)家在其以敘事為基礎(chǔ)的框架中主要將關(guān)于電影(一種時(shí)空語(yǔ)言)的觀點(diǎn)和索緒爾派生的結(jié)構(gòu)主義語(yǔ)言學(xué)(一種基于實(shí)體語(yǔ)言的方法論)相結(jié)合。(14)例如，Nichols B.Style,Grammar,and the Movies[J].Film Quarterly,1975,28(3):33-49;Beneviste é.La Phrase Nominale[M]//Benveniste é.Probleme de Linguistique Generale.Paris:Guillimard,1966:151-167。因此，這導(dǎo)致20世紀(jì)70年代英國(guó)屏幕理論(British Screen Theory)的結(jié)構(gòu)主義基礎(chǔ)極其僵化，該理論只能分析敘事文本。屏幕理論假設(shè)觀眾不可避免地被確定性的電影代碼 “定位”，從而喚起導(dǎo)演對(duì)電影編碼的預(yù)先確定的解釋。這種二元符號(hào)學(xué)排除了解釋者/解釋項(xiàng)連接能指與所指的可能性。因此，這一理論不能將背景、民族志和接受經(jīng)驗(yàn)結(jié)合起來。它也無法識(shí)別嵌入在不同符號(hào)(或解釋)群體中的觀者對(duì)文本的不同解釋(解釋項(xiàng))。這些可能會(huì)導(dǎo)致非常不同的情緒、生理和智力反應(yīng)(或解釋)。(15)Tomaselli K G.Encoding/Decoding,the Transmission Model,and a Court of Law[J].International Journal of Cultural Studies,2015,19(1):59-70.

20世紀(jì)90年代后期，出現(xiàn)了面向“觀眾主動(dòng)性”概念的“理論轉(zhuǎn)向”。這種觀點(diǎn)認(rèn)為，敏捷的媒體受眾并不會(huì)被動(dòng)地接收信息。相反，他們?cè)谄渖鐣?huì)和個(gè)人經(jīng)驗(yàn)的背景下積極參與信息的意義構(gòu)建。(16)Morley D.The Nationwide Audience:Structure and Decoding[M].London:British Film Institute,1980.數(shù)字媒體的交互性拓展了這一概念：受眾不僅理解他們所消費(fèi)的事物，而且還主動(dòng)地參與意義的共同創(chuàng)造。這一點(diǎn)在游戲中表現(xiàn)得最為明顯，在游戲中，“故事情節(jié)”的塑造主要取決于玩家在不同層面上對(duì)故事結(jié)局的選擇。

英國(guó)屏幕理論也不能像四維、增強(qiáng)現(xiàn)實(shí)和虛擬現(xiàn)實(shí)那樣解釋交互式、體驗(yàn)式的媒體成像。在四維、AR和VR中，觀察者成為參與者，他們甚至可以在預(yù)先設(shè)定的行動(dòng)選擇之間引導(dǎo)敘事結(jié)果。例如，愛麗絲在《愛麗絲夢(mèng)游仙境》(AliceinWonderland)(17)Carroll L.Alice in Wonderland[M].London:Macmillan,1865.中被鏡子隔開——在鏡子里的她，以及穿過了鏡子的她。愛麗絲同時(shí)身處兩個(gè)空間——現(xiàn)實(shí)世界和虛擬空間——她不再通過鏡頭的屏障與故事世界分離。愛麗絲的認(rèn)知與虛擬世界有關(guān)，她的意識(shí)是虛擬現(xiàn)實(shí)的一部分。意義通過感官通道，可能延伸到觸覺、味覺等。同樣，在虛擬現(xiàn)實(shí)中，觀眾/參與者和屏幕之間沒有分離開來。

時(shí)空既是抽象的，又扎根于“現(xiàn)實(shí)世界”的2D電影符號(hào)學(xué)。在這里，觀眾/實(shí)踐者/參與者/使用者往往對(duì)空間意義存在著一種內(nèi)在的直觀性和經(jīng)驗(yàn)性的理解。阿爾伯特·愛因斯坦(Albert Einstein)的物理概念令人難以想象，因?yàn)槲覀冊(cè)谌粘Ｉ钪袩o法“看到”/體驗(yàn)它們。同樣，我們也看不到發(fā)生在幀或序列之間的表征意義。觀眾看到的不是剪輯，而是敘事的連續(xù)性。時(shí)空的概念框架及其修辭意義的傳達(dá)之間的聯(lián)系被隱藏起來，因?yàn)橛^眾自己在認(rèn)知上填補(bǔ)或連接了不連續(xù)的空白。

運(yùn)動(dòng)學(xué)分析(kinesic analysis)排除了幀作為分析的基本元素，(18)Eco U.On the Contribution of Film to Semiotics[J].Quarterly Review of Film Studies,1977,2(1):1-14.因?yàn)檎绫葼枴つ峥茽査?Bill Nichols)所解釋的那樣，“動(dòng)態(tài)圖像不是在幀中，而是在幀之間連接在一起，在動(dòng)態(tài)圖像到運(yùn)動(dòng)學(xué)符號(hào)的時(shí)間流中連接在一起”。(19)Nichols B.Style,Grammar,and the Movies[J].Film Quarterly,1975,28(3):33-49.動(dòng)態(tài)圖像(kinesic figures)是運(yùn)動(dòng)的基本單位，其自身沒有意義。它們是嚴(yán)謹(jǐn)?shù)牡珶o意義的符號(hào)(以每秒24次的速率從動(dòng)作連續(xù)體中分割開來)：包含一個(gè)(人類)頭部的圖像(在一幀中)并不能判斷他是上下移動(dòng)還是左右移動(dòng)。這些符號(hào)在幀內(nèi)成倍增加，形成動(dòng)態(tài)——“由許多動(dòng)作組成的復(fù)雜話語(yǔ)”。(20)Nichols B.Style,Grammar,and the Movies[J].Film Quarterly,1975,28(3):37.這種符號(hào)系統(tǒng)限制了我們對(duì)戲劇運(yùn)動(dòng)的研究，因此不能構(gòu)成一般理論。

因此，電影符號(hào)學(xué)家之間的一個(gè)普遍共識(shí)是，放棄幀作為分析的最小單元。根據(jù)定義，鏡頭(shot)的持續(xù)時(shí)間超過一幀。與語(yǔ)言不同，電影中沒有雙重表達(dá)。也就是說，電影是一種不包含任何諸如音素(音素是最小的單位)等詞匯項(xiàng)的話語(yǔ)。離散的、無意義的單位結(jié)合起來形成了第一個(gè)發(fā)音，即語(yǔ)素，其包含一個(gè)語(yǔ)義維度。事實(shí)上，鏡頭仍然大于語(yǔ)素。鏡頭是一個(gè)義素，至少是一個(gè)句子，麥茨總結(jié)道，“它(電影)沒有任何與音素相對(duì)應(yīng)的事物……它通過整個(gè)‘現(xiàn)實(shí)塊’(blocks of reality)進(jìn)行，這些區(qū)塊在話語(yǔ)中實(shí)現(xiàn)其全部意義。這些區(qū)塊就是‘鏡頭’”。(21)Metz C.Film Language:A Semiotics of the Cinema[M].New York:Oxford University Press,1974:114.

四、敘事和時(shí)空

然而，衡量(measurement)的問題仍然在于實(shí)體時(shí)空語(yǔ)言的差異性。衡量問題不應(yīng)與信息的指稱內(nèi)容或所描述對(duì)象的意義相混淆。它關(guān)注的是一個(gè)實(shí)體的個(gè)性化問題，旨在建立一種元語(yǔ)言(metalanguage)，這種元語(yǔ)言能夠充分彌合電影符號(hào)學(xué)五種代碼之間的差距，以尋求一種統(tǒng)一的電影語(yǔ)言理論。

敘事電影的內(nèi)容可以形象化地比作一組軸，一組垂直軸(v1，vn)，一組水平軸(h1，hn)，在h1……h(huán)n和v1……vn之間的任意位置動(dòng)態(tài)相交(見圖1)。

在文本中，按線性鏈順序組織信息的水平軸稱為意義的組合維度。一個(gè)符號(hào)與所有其他符號(hào)形成組合關(guān)系，這些符號(hào)可能出現(xiàn)在同一軸上，但不會(huì)同時(shí)出現(xiàn)而是以“非此即彼”為基礎(chǔ)。此系統(tǒng)用于管理影像組合代碼的規(guī)則，以及探究這些代碼如何賦予信息以意義。敘事電影屬于這種尋求內(nèi)容時(shí)序意義的組合模式。根據(jù)麥茨的論述，敘事是按照順序排列的事件的總和。它是一個(gè)封閉的話語(yǔ)，是通過沒有意識(shí)到事件的時(shí)間序列而展開的。

可能的選擇性連接的垂直軸被稱為意義的聚合維度。在符號(hào)學(xué)中，一種范式通過構(gòu)建影像元素間的關(guān)聯(lián)來生成意義。在話語(yǔ)鏈中，一個(gè)符號(hào)與同一軸線上的所有其他符號(hào)同時(shí)進(jìn)入聚合關(guān)系。雖然聚合軸只出現(xiàn)在電影展開的過程中，但它獨(dú)立于時(shí)間敘事組合序列。在兩個(gè)軸相交的地方，意義即被破譯。意義的產(chǎn)生與橫軸上所含能指的出現(xiàn)順序無關(guān)。在交叉點(diǎn)創(chuàng)建的符號(hào)可以通過許多不同的方式提供意義。符號(hào)(signs)可能引用一種象征代碼(symbolic code)，而象征代碼反過來又賦予所生成的符號(hào)以意義。有時(shí)所生成的符號(hào)本身就是一種代碼(code)，然后它就變成了特定導(dǎo)演作品序列中的一種風(fēng)格或特征的代碼類型。換言之，所生成的符號(hào)可能是特定導(dǎo)演自己所持有的特殊代碼。在這種情況下，根本不存在對(duì)代碼的反向引用；相反，一種新的代碼是由個(gè)別獨(dú)立的導(dǎo)演或作者創(chuàng)建的。由于符號(hào)學(xué)關(guān)注的是電影的內(nèi)部運(yùn)作，而不是單部電影或單個(gè)導(dǎo)演，因此理論家有必要將這種新的特殊代碼推廣到已知現(xiàn)存的其他代碼中。根據(jù)定義，組合和聚合代碼超越了單部電影，只能通過一系列電影或系統(tǒng)進(jìn)行研究。

而虛擬現(xiàn)實(shí)則將代碼擴(kuò)展到可能正在操縱范例的“參與者-解釋者”(participant-interpreter)中。符號(hào)學(xué)關(guān)注的是預(yù)先給定的電影的內(nèi)部運(yùn)作，而不是單部電影、單個(gè)導(dǎo)演或參與者。根據(jù)定義，組合和聚合代碼超越了單部電影，只能通過一系列電影進(jìn)行研究，而在虛擬現(xiàn)實(shí)中，分析發(fā)生在視覺關(guān)系本身中。

在下文中，筆者將指出發(fā)展四維電影符號(hào)學(xué)理論的基礎(chǔ)，與目前基于三維敘事的研究相比，這一理論結(jié)合了虛擬現(xiàn)實(shí)。

在實(shí)體語(yǔ)言中，個(gè)體是通過指定一組屬性(P1、P2、P3……Pn)來定義的。例如，在電影中，我們可以通過陳述一系列幀、光線和色調(diào)的相互作用、紋理、圖像以及所表示的對(duì)象來使鏡頭個(gè)性化。(22)Wilson N L.Space,Time,and Individuals[J].Journal of Philosophy,1955,52(22):589-598.然而，在四維時(shí)空語(yǔ)言中，個(gè)性化取決于坐標(biāo)結(jié)構(gòu)中所指定對(duì)象或個(gè)體的位置，這個(gè)坐標(biāo)結(jié)構(gòu)表示空間和時(shí)間(x，y，z，t)?！扮R頭”目前仍然是一個(gè)不可或缺的參考，就像在語(yǔ)言學(xué)研究中的“詞”(word)一樣。一部電影的制作至少由一個(gè)鏡頭構(gòu)成，誠(chéng)如語(yǔ)言表述至少由一個(gè)音素組成。

這兩種語(yǔ)言系統(tǒng)具有不同的屬性。因此，將它們混為一談，認(rèn)為它們?cè)谕粫r(shí)間可以占據(jù)同一地點(diǎn)是有誤導(dǎo)性的。具體而言，影像的時(shí)空參照物相當(dāng)于整部影片的時(shí)空坐標(biāo)結(jié)構(gòu)被記錄在畫面上。思考一下適用于這兩種語(yǔ)言系統(tǒng)的同等概念。在實(shí)體語(yǔ)言中，兩個(gè)人可能占據(jù)相同的位置。兩個(gè)單獨(dú)的幀可能描繪完全相同的主題、光線與色調(diào)的相互作用等，但這種情況在時(shí)空語(yǔ)言中是不可能的(兩個(gè)鏡頭不能在同一時(shí)間占據(jù)相同的位置)。這一點(diǎn)即使在分解和疊加的情況下也是如此，因?yàn)閹跁r(shí)空系統(tǒng)的坐標(biāo)結(jié)構(gòu)中所處的位置仍然是指定的。唯一受影響的因素是幀中所描述的聚合關(guān)系。

那么，電影分析中的個(gè)體是什么樣的實(shí)體？在大多數(shù)符號(hào)學(xué)研究中，分析的基本單位通常被定義為鏡頭。麥茨說，“膠片中沒有任何與第二個(gè)發(fā)音的純粹獨(dú)特的單位相對(duì)應(yīng)的事物；它的所有單位——即使是最簡(jiǎn)單的，如溶解和擦除——都是直接有意義的……”。(23)Metz C.Film Language:A Semiotics of the Cinema[M].New York:Oxford University Press,1974:105-106.因此，電影語(yǔ)言的準(zhǔn)則要求在敘事中有陳述，而不是在陳述中有語(yǔ)素，更不用說在語(yǔ)素中有音素。麥茨得出結(jié)論：

“鏡頭”——一個(gè)已經(jīng)很復(fù)雜的單位，必須加以研究——目前仍然是一個(gè)非常重要的參考，就像語(yǔ)言學(xué)研究中的“詞”一樣……它構(gòu)成了最大化的最小片段，因?yàn)橹谱饕徊侩娪盎螂娪暗囊徊糠种辽傩枰粋€(gè)鏡頭——同理，語(yǔ)言陳述必須至少由一個(gè)音素組成。從一個(gè)持續(xù)的鏡頭中分離出多個(gè)鏡頭，從一個(gè)鏡頭中刪除多個(gè)幀就是破壞這個(gè)鏡頭。如果鏡頭不是電影意義的最小單位(因?yàn)橐粋€(gè)鏡頭可以傳達(dá)多個(gè)信息元素)，那么它至少是電影鏈的最小單位。(24)Metz C.Film Language:A Semiotics of the Cinema[M].New York:Oxford University Press,1974:106.

換言之，“鏡頭是一種論斷……就像一個(gè)未定義長(zhǎng)度的復(fù)雜語(yǔ)句”。(25)Metz C.Film Language:A Semiotics of the Cinema[M].New York:Oxford University Press,1974:105-106.埃米爾·本維尼斯特(émile Benveniste)對(duì)此表示贊同，他將鏡頭定義為“完整的論斷”。(26)Benveniste é.La Phrase Nominale[M]//Benveniste é.Probleme de Linguistique Generale.Paris:Guillimard,1966:151-167.照片或電影鏡頭不能收錄在一種視聽詞典中，因?yàn)槊繌垐D片都已經(jīng)是一個(gè)句子，一種符號(hào)話語(yǔ)。彼得斯(J.M.Peters)(27)Peters J M.Pictorial Communication[M].Cape Town:David Phillip,1977.確實(shí)承認(rèn)，一張照片是由更小的離散單元組成，比如透視、角度、持續(xù)時(shí)間和相機(jī)的位移。這些元素中的每一個(gè)都是一個(gè)能指，但必須是空的，因?yàn)樗鼈冊(cè)讷@取一個(gè)具體形式之前必須與圖片話語(yǔ)結(jié)合起來。(28)Peters J M.Pictorial Communication[M].Cape Town:David Phillip,1977.約翰·范·齊爾(John van Zyl)將鏡頭定義為“不是一個(gè)單一的話語(yǔ)詞匯單位(比如單詞)，而是一個(gè)高度復(fù)雜的記錄，記錄了其所指對(duì)象性質(zhì)內(nèi)部的關(guān)系”。(29)Van Zyl J A F.Towards a Socio-Semiology of Performance[M]//Van Zyl J A F,Tomaselli K G.Media and Change.Johannesburg:McGraw-Hill,1977:43.尼科爾斯觀察到，“在(艾柯的)風(fēng)景中的標(biāo)志性圖像(包括紋理、陰影、對(duì)比度、線條等的標(biāo)志性代碼的最小單位——其本身是沒有意義的單位，如音素)組合形成標(biāo)志性符號(hào)(識(shí)別的最小單位——眼睛、靴子、樹等)”。(30)Nichols B.Movies and Methods,An Anthology[M].Los Angeles:University of California Press,1976:612.

這些圖像在電影幀內(nèi)混合在一起，形成義素——一種類似于話語(yǔ)的多種符號(hào)的復(fù)合體。因此，鏡頭不是一個(gè)詞，它至少是一個(gè)句子。(31)Nichols B.Style,Grammar,and the Movies[J].Film Quarterly,1975,28(3):37.安伯托·艾柯(Umberto Eco)(32)Eco U.On the Contribution of Film to Semiotics[J].Quarterly Review of Film Studies,1977,2(1):1-14.談及代碼在原子元素上的符號(hào)功能，其中它的功能體(表達(dá)和內(nèi)容)彼此獨(dú)立。換言之，表達(dá)的內(nèi)容必然是對(duì)符號(hào)的引用。這并非公理。這意味著受不同規(guī)則約束的同一表達(dá)，可以與不同的內(nèi)容相關(guān)聯(lián)。電影是許多符號(hào)學(xué)現(xiàn)象的交匯點(diǎn)，因此，內(nèi)容被認(rèn)為是最小實(shí)體的重要組成部分。對(duì)電影符號(hào)學(xué)和語(yǔ)言學(xué)假設(shè)之間的關(guān)系概括如下：“在電影分析中，不可能存在一個(gè)鏡頭等于一個(gè)句子的問題——一個(gè)鏡頭可能由幾個(gè)句子組成，甚至可能是一段用自然語(yǔ)言表達(dá)的話語(yǔ)。理論語(yǔ)言學(xué)結(jié)束其分析的那一點(diǎn)也許是進(jìn)行電影分析的起點(diǎn)?！?33)Young D.Film Language,and the Relevance of Linguistics to Film Semiology[M]//Language of the Arts,Arts Colloquium.University of the Witwatersrand,1975:55-59.“電影從普通語(yǔ)言結(jié)束的地方開始：在‘句子’的層面——電影制作人的最小單位和語(yǔ)言的最高屬性單位?！?34)Metz C.Film Language:A Semiotics of the Cinema[M].New York:Oxford University Press,1974:21.

這些定義都不包括時(shí)間元素。羅德·惠特克(Rod Whitaker)談及：“乍一看，幀似乎是最基本的內(nèi)容載體，因?yàn)榇蠖鄶?shù)視覺元素都在它的空間范圍內(nèi)。然而，幀可能作為內(nèi)容指示器而被忽略，因?yàn)樵谟^看體驗(yàn)中，它并不存在。幀是靜止的……畫面中存在的所有視覺元素也都存在于鏡頭中?！?35)Whitaker R.The Language of Film[M].Englewood Cliffs:Prentice Hall,1970:32.

然而，衡量?jī)?nèi)容就是衡量它與信息的其他部分的關(guān)系遠(yuǎn)近，從而直接與信息的意義相聯(lián)系。時(shí)空體(chronotope)即表明時(shí)間、空間和意義已被鎖定。雖然單幀鏡頭(frame-shot)的內(nèi)容本身沒有時(shí)間特性，但它在坐標(biāo)時(shí)空框架(或整部電影)中的位置確實(shí)提供了這樣的條件，通過此條件，使得該幀可以被視為組合模式中最低實(shí)體的單位，在這種組合模式中，該幀內(nèi)的空間類似于義素。這反過來又賦予了單幀鏡頭以時(shí)間性，因?yàn)槊恳粠际抢斫庹侩娪暗闹匾M成部分。

五、電影理論的啟示

在電影時(shí)空語(yǔ)言范圍內(nèi)運(yùn)作的是相交叉的組合聚合式敘事關(guān)系。這些元素在時(shí)空語(yǔ)言和實(shí)體語(yǔ)言中都是相同的，因此可以應(yīng)用于更為廣泛的符號(hào)系統(tǒng)、符號(hào)和語(yǔ)言功能。雖然這一特性繼續(xù)將符號(hào)學(xué)分析局限于敘事性電影，但它確實(shí)抓住了元語(yǔ)言形成的核心，將電影的實(shí)體成分(言語(yǔ))和時(shí)空成分結(jié)合起來。

最小的實(shí)體——鏡頭——是一個(gè)句子，甚至是一段話。有些鏡頭比其他鏡頭揭露的更多——鏡頭有潛臺(tái)詞和“即時(shí)”(on the line)最佳點(diǎn)，它們通過解釋語(yǔ)境，充當(dāng)潛臺(tái)詞的統(tǒng)一體。單幀鏡頭相當(dāng)于一個(gè)句子或一個(gè)段落，這取決于幀中所包含符號(hào)的豐富程度，以及其在整個(gè)電影的坐標(biāo)時(shí)空結(jié)構(gòu)中的位置。因此，這種四維時(shí)空語(yǔ)言系統(tǒng)將符號(hào)功能作為最小分析段的一個(gè)組成部分?？傊?，單幀鏡頭的概念確實(shí)滿足了個(gè)性化過程的要求。然而，該單位的識(shí)別并不能自動(dòng)解決電影音軌上的言語(yǔ)問題，盡管它看起來確實(shí)滿足了電影視覺特性的條件。元語(yǔ)言仍然有待發(fā)現(xiàn)，它將彌合言語(yǔ)(實(shí)體語(yǔ)言)和視覺(時(shí)空語(yǔ)言)之間的鴻溝，而體驗(yàn)則出現(xiàn)在虛擬現(xiàn)實(shí)中。

(一) 時(shí)空坐標(biāo)系

如果我們?cè)诳臻g圖像中考慮時(shí)間，假設(shè)所有時(shí)間都存在于一個(gè)時(shí)空坐標(biāo)系，我們就可以繪制出空間和時(shí)間的拓?fù)鋮^(qū)分圖。在時(shí)空坐標(biāo)系中，一個(gè)維度被認(rèn)為是時(shí)間，另外三個(gè)維度被認(rèn)為是空間。類時(shí)和類空的劃分如圖2所示。

圖2 空間圖像中的時(shí)間

類時(shí)線是垂直的虛線。任何一部給定的電影都可以比作一個(gè)特定的時(shí)空坐標(biāo)系，它代表了一個(gè)四維物質(zhì)世界，在空間上精準(zhǔn)定位，并垂直于時(shí)間軸。我們應(yīng)該把它看作是沿著時(shí)間軸任意位置上具有任何期時(shí)間段時(shí)間的一個(gè)時(shí)期。根據(jù)羅德·惠特克的定義，他的分析可以外推至將“幀”比作“瞬間”，即瞬間處于沒有持續(xù)時(shí)間的時(shí)期。無論膠片的相關(guān)運(yùn)動(dòng)(每秒24幀)如何，這一瞬間是絕對(duì)不同的，因此，在y是時(shí)空對(duì)象的情況下，我們可以將最小單位或?qū)嶓wy定義為t1處的x1，即y是時(shí)刻t1處x1的最小值。換言之，從理論上來講，幀可以構(gòu)成單個(gè)或基本的分段分析。這一觀察結(jié)果對(duì)單幀鏡頭中所表示的時(shí)空特性具有一定影響。雖然單幀鏡頭的內(nèi)容本身沒有時(shí)間特性，但它在坐標(biāo)時(shí)空框架(或整部電影)中的位置確實(shí)提供了這樣的條件，通過這些條件，使得該幀可以視為組合模式中最低實(shí)體的單位。這反過來又賦予了單幀鏡頭以時(shí)間性，因?yàn)槊恳粠际抢斫庹侩娪暗闹匾M成部分。

梅洛-龐蒂(Merleau-Ponty)的現(xiàn)象學(xué)方法則認(rèn)為，一系列電影就像生活中的奇觀一樣，本身就具有意義。(39)Metz C.Film Language:A Semiotics of the Cinema[M].New York:Oxford University Press,1974:105-106.也就是說，符號(hào)是失效的——能指和所指在電影中并不是分離的，但不同于虛擬現(xiàn)實(shí)，觀眾與畫面仍然是分離的。另外，一方面，麥茨的結(jié)構(gòu)主義符號(hào)學(xué)將文本關(guān)系置于觀眾解釋之上，觀點(diǎn)占主導(dǎo)地位；從理論上來說，導(dǎo)演借助這樣一種方式對(duì)其敘事進(jìn)行編碼，這一形式?jīng)Q定了觀眾的反應(yīng)。于是，觀眾反應(yīng)被電影形式定位成導(dǎo)演編碼的特定解讀。另一方面，符號(hào)學(xué)賦予解釋者特權(quán)，解釋者可以偏離導(dǎo)演的觀點(diǎn)，以不同的方式“觀看”或解讀電影，而這些方式不一定符合導(dǎo)演的意圖或電影的文本形式。換言之，這些觀眾對(duì)電影文本意義的理解可能不符合所聲稱的基于符號(hào)學(xué)引導(dǎo)的解釋?？傊?，電影符號(hào)學(xué)在其“能指-所指”二元關(guān)系中簡(jiǎn)單地忽略了觀眾，而符號(hào)學(xué)則在其三元框架中包括了觀眾。

(二) 膠卷與數(shù)字世界

增強(qiáng)現(xiàn)實(shí)是數(shù)字技術(shù)在現(xiàn)實(shí)世界上的虛擬疊加?；旌犀F(xiàn)實(shí)(Mixed Reality，簡(jiǎn)稱MR)類似于虛擬現(xiàn)實(shí)，但有助于增進(jìn)真實(shí)世界與數(shù)字世界之間的交互?！吧衿娴娘w躍：企業(yè)空間計(jì)算”(Magic Leap:Spatial Computing for Enterprise)機(jī)構(gòu)制造出了一種可穿戴的空間計(jì)算機(jī)裝備，將物理世界和數(shù)字世界融為一體。它能夠投射數(shù)字光場(chǎng)(light fields)，使大腦能夠?qū)D像有形地同化到現(xiàn)實(shí)世界中。大腦的渲染功能被認(rèn)為無法區(qū)分增強(qiáng)之維(augmentation)和現(xiàn)實(shí)之維，這實(shí)際上模糊了想象和現(xiàn)實(shí)之間的界限，在文本的空間場(chǎng)域中創(chuàng)造了一個(gè)“第三維度”的主觀現(xiàn)實(shí)，幾乎形成了時(shí)空的蒙太奇二重性。

在蒙太奇中，觀眾被置于畫面(幀)之間，并且不在任何畫面(幀)中。從理論上來講，表征性和象征性的融合，主體和代理之間的統(tǒng)一，將x、y和z軸合并在一個(gè)維度上。存在于非切線維度的表征性符號(hào)文本被觀者識(shí)別為物理時(shí)空語(yǔ)境中的有形物理感官文本，增強(qiáng)了文本的多元性，并將二維現(xiàn)實(shí)融為一體，同時(shí)反映其各自的維度。文本修辭或解釋項(xiàng)存在于觀者的頭腦中，同時(shí)也反映在光學(xué)波長(zhǎng)上。鏡中的兩個(gè)世界，一方面是具有象征性的表征性偏見，另一方面是感官的偏見，在動(dòng)態(tài)混合的時(shí)空中相互超越。(40)Tomaselli D R.Cosmology of the Relativistic Multi-Modal Chronotype[D].KwaZulu Natal province :University of KwaZulu-Natal,2020:205-206.

用符號(hào)學(xué)的術(shù)語(yǔ)來說，這種符號(hào)的失效最好用顯象來解釋，這是一種整合了虛構(gòu)、幻影和擬像的超級(jí)符號(hào)，無論它們是如何產(chǎn)生的(心理上的或技術(shù)上的)。與概念上有局限性的現(xiàn)象相比，顯象在本體論意義上具有更完整的概念，其支持在主體存在的情況下進(jìn)行有意義條件的設(shè)置。空間和時(shí)間中的任何情況都可能包含大量同時(shí)出現(xiàn)的顯象，盡管這個(gè)數(shù)字趨于無限大，但并不是無限大。由于符號(hào)和解釋項(xiàng)形成邏輯之間的聯(lián)系，任何顯象都將由顯象實(shí)現(xiàn)時(shí)出現(xiàn)的符號(hào)主體的語(yǔ)用能力來定義。這不僅包括從二維到四維的碰撞，還包括想象的、將主體與客體聯(lián)系在一起的場(chǎng)景，無論是在畫面(幀)之內(nèi)還是在畫面(幀)之外的。

相比之下，電影影像模仿自然的模式，并與它所描繪的對(duì)象存在聯(lián)系。雖然主要理論家都意識(shí)到符號(hào)學(xué)的不足，但很少有學(xué)者在構(gòu)建一個(gè)框架以解釋電影意義時(shí)碰到困難。同時(shí)，很少有學(xué)者討論過時(shí)空關(guān)系。

結(jié)論：時(shí)空與感官

電影理論家們發(fā)現(xiàn)現(xiàn)有的理論在解釋能力上存在差異，因此一直在尋求符號(hào)學(xué)來幫助其構(gòu)建電影語(yǔ)言。然而，結(jié)果卻陷入學(xué)術(shù)上的僵局、分類學(xué)上的噩夢(mèng)之中。

物體依靠空間關(guān)系相互傳遞意義(美學(xué)—時(shí)空體)。如果時(shí)空屬性發(fā)生了變化，那么嵌入其中的意義也會(huì)發(fā)生變化。意義根植于“真實(shí)世界”的體驗(yàn)，不僅是通過與身體分離的三維平面，也是通過身體的感官體驗(yàn)。笛卡爾思想仍然是活躍的，但是它被認(rèn)為是與身體相分離的，即使身體通過感官通道轉(zhuǎn)譯情感解釋項(xiàng)和信息。在虛擬現(xiàn)實(shí)中，空間關(guān)系不僅通過抽象進(jìn)入，而且更大膽地通過感官“空間”引導(dǎo)——身體成為“分布式”出口的延伸。虛擬現(xiàn)實(shí)設(shè)計(jì)中的嵌入式敘述(41)參見Jenkins H.Convergence Culture:Where Old and New Media Collide[M].New York:New York University Press,2006.是通過一系列有意的“插曲”加以實(shí)現(xiàn)，這些“插曲”似乎是隨機(jī)散布在游戲環(huán)境中的。參與者可以了解到他們采取的是主動(dòng)反應(yīng)而不是被動(dòng)反應(yīng)。(42)Newton K,Soukup K.The Storyteller’s Guide to the Virtual Reality Audience[EB/OL].(2016-04-07)[2022-07-12].https://medium.com/stanford-d-school/the-storyteller-s-guide-to-the-virtualreality-audience-19e92da57497.

電影語(yǔ)言的派生似乎取決于第四維度的應(yīng)用，無論是從二維到四維還是多維。在可視化模態(tài)文本表征的系列中，我們可以繪制感官文本(sensory texts)和表征文本(representative texts)的特征簇。誠(chéng)如瑪麗-勞爾·瑞安(Marie-Laure Ryan)所言，感官或身份文本通過物理刺激功能實(shí)現(xiàn)語(yǔ)法意義，而表征文本則暗示象征意義，象征意義充當(dāng)了分隔真實(shí)世界和沉浸式故事世界的框架。(43)Ryan M L.Immersion vs.Interactivity:Virtual Reality and Literary Theory[J].SubStance,1999,28(2):133.表征文本的片段以被幀分隔開的模式聚集在一起，而感官文本則以需要參與者“進(jìn)入幀”的模式進(jìn)行提取。表征文本具有戲劇性的腳本特質(zhì)，而感官文本則具有更高程度的提取設(shè)備。所提取內(nèi)容解釋的是“浮動(dòng)”的代碼，而不是“固定”的代碼——也就是說，固定在敘事優(yōu)先的基礎(chǔ)上?！案?dòng)”元素可能會(huì)偏離敘述所要求的具有凝聚力的結(jié)構(gòu)。因此，在虛擬現(xiàn)實(shí)/游戲中，解釋者很難專注于意義的內(nèi)化。與電影不同的是，電子游戲不會(huì)誘導(dǎo)諸如促使玩家哭泣之類的情緒出現(xiàn)。

電影居于隱喻的鏡子之外，散發(fā)出高度的修辭符號(hào)學(xué)和符號(hào)論特質(zhì)，幾乎無法加以利用和提取。通過對(duì)幀的劃分以使觀眾區(qū)分開來，這似乎是基于時(shí)空語(yǔ)法的相似性而發(fā)生的。在“穿過鏡子”的過程中，虛擬現(xiàn)實(shí)等模式似乎暗示了更高比例的感官文本和導(dǎo)航元素，但降低了象征和表征元素的使用——或者至少不像基于幀的模式那樣。在虛擬現(xiàn)實(shí)中，“文本表示在某個(gè)方面就像全息圖片：你不能同時(shí)看到世界和符號(hào)。讀者和觀眾必須把注意力集中在符號(hào)之外，才能見證一個(gè)三維的、栩栩如生的現(xiàn)實(shí)的呈現(xiàn)”。(44)Ryan M L.Immersion vs.Interactivity:Virtual Reality and Literary Theory[J].SubStance,1999,28(2):132.因此，感官知覺包含了表征文本。對(duì)符號(hào)以及與符號(hào)相關(guān)事物的驅(qū)逐，是因?yàn)樘摂M現(xiàn)實(shí)通過“虛擬現(xiàn)實(shí)效應(yīng)”否定了對(duì)中介存在的認(rèn)可，即否定符號(hào)(位、像素和二進(jìn)制代碼)在產(chǎn)生用戶所體驗(yàn)的非中介存在過程中的作用。因此，為實(shí)現(xiàn)沉浸感，計(jì)算機(jī)被設(shè)計(jì)為“不可見”，從而促進(jìn)用戶和內(nèi)容之間直接達(dá)成排他性契約。