內(nèi)容摘要:影像數(shù)字化進(jìn)程無疑是數(shù)字景觀的重要領(lǐng)域,深度圖是影像數(shù)字化進(jìn)程中的技術(shù)參數(shù),其對(duì)于數(shù)字影像空間的重塑,直指影像語(yǔ)言與修辭,再度譜寫了數(shù)字景觀中的藝術(shù)表現(xiàn)。在數(shù)字化進(jìn)程之前,傳統(tǒng)影像的物理空間展示主要依賴于透視法。深度圖技術(shù)在數(shù)字影像中的廣泛應(yīng)用意味著影像不僅可以通過像素?cái)y帶的位置信息還原真實(shí)的深度,還可以利用深度信息,扭曲并表現(xiàn)影像空間。學(xué)界首次提出深度曲線,對(duì)于影像空間的重塑有前瞻性。深度圖技術(shù)對(duì)影像空間的重塑,不僅是數(shù)字景觀的呈現(xiàn),也對(duì)數(shù)字影像理論影響甚遠(yuǎn)。
關(guān)鍵詞:數(shù)字景觀;傳統(tǒng)影像空間;數(shù)字影像空間;深度圖技術(shù);深度曲線
DOI:10.3969/j.issn.2095-0330.2024.04.003
數(shù)字景觀一般指的是通過數(shù)字技術(shù)創(chuàng)造一種數(shù)字化、沉浸式的環(huán)境和場(chǎng)景,拓展觀眾對(duì)現(xiàn)實(shí)世界的感知,為觀眾帶來全新的環(huán)境體驗(yàn)。數(shù)字景觀把數(shù)字技術(shù)與傳統(tǒng)藝術(shù)、景觀設(shè)計(jì)、城市規(guī)劃和自然環(huán)境融合在一起。數(shù)字影像作為傳統(tǒng)“第七藝術(shù)”的數(shù)字化呈現(xiàn),無疑與數(shù)字景觀有交集。數(shù)字技術(shù)強(qiáng)化了電影影像修辭奇觀化的傾向,高科技的發(fā)展特別是數(shù)字技術(shù)的發(fā)展,使“數(shù)字奇觀審美”浮出水面。
數(shù)字影像中包含的具體數(shù)字技術(shù)種類繁多,比如我們平時(shí)常見的通過遮罩、蒙版來?yè)赶?,通過圖層來進(jìn)行影像的拼合等。為何要在這里單列深度圖與數(shù)字景觀的關(guān)系?這是因?yàn)橛跋竦母鞣N數(shù)字技術(shù)對(duì)數(shù)字景觀的表現(xiàn)可謂“長(zhǎng)短參半”——這并不奇怪,影像的數(shù)字技術(shù)并非完全為了打造數(shù)字景觀。影像數(shù)字技術(shù)中諸如壓縮轉(zhuǎn)碼、格式轉(zhuǎn)換等往往都是著眼于通信的標(biāo)準(zhǔn)或是存儲(chǔ)的便利。只不過有些數(shù)字技術(shù)在應(yīng)用的過程中,因?yàn)閿?shù)字屬性的媒介特質(zhì),帶來了額外數(shù)字奇觀的審美和藝術(shù)表現(xiàn),從而體現(xiàn)了數(shù)字景觀一說。深度圖對(duì)數(shù)字影像空間的重塑就是較有典型意義的數(shù)字景觀的呈現(xiàn)。
一、深度圖參與數(shù)字影像空間的構(gòu)型
數(shù)字影像的空間無疑是數(shù)字景觀的展示內(nèi)容,尤其是數(shù)字影像在空間的深度感表現(xiàn)上。這種深度感并非傳統(tǒng)物理空間帶來的,因此隨之而來的是與傳統(tǒng)影像空間截然不同的觀影感知。之前關(guān)于影像空間的討論很少提及深度感的原因有兩點(diǎn):一是之前沒有類似激光雷達(dá)的技術(shù),深度信息遙不可及;二是影像空間不同于戲劇舞臺(tái)的現(xiàn)實(shí)空間,其深度感往往被時(shí)間和運(yùn)動(dòng)以及透視法取代。作為二維銀幕上展現(xiàn)的影像空間更強(qiáng)調(diào)時(shí)空調(diào)度——根據(jù)影像哲學(xué)的界定,影像藝術(shù)的時(shí)間、空間、運(yùn)動(dòng)是密不可分的。大衛(wèi)·波德威爾(David Bordwell)就非常認(rèn)可安德烈·巴贊(Andre Bazin)對(duì)影像的看法,不僅是因?yàn)樗缟幸环N松散偶然類似于日常生活的敘事節(jié)奏,還因?yàn)樗珳?zhǔn)地指出了代表空間和時(shí)間現(xiàn)實(shí)連續(xù)體的獨(dú)特的藝術(shù)手段(長(zhǎng)焦、縱深、攝影機(jī)運(yùn)動(dòng)、長(zhǎng)鏡頭)。
影像空間通常分為兩種。第一種是廣義的影像空間,持廣義影像空間觀點(diǎn)的人受20世紀(jì)末哲學(xué)文化領(lǐng)域“空間轉(zhuǎn)向”的社會(huì)思潮影響。我們可以將其理解為一種“空間性”,這種“空間性”往往和時(shí)間呈現(xiàn)一種二元對(duì)立,其不僅是影像哲學(xué)意義上的空間,也包含社會(huì)思潮的空間、抽象的空間、心理空間、戲劇空間、地理空間、超現(xiàn)實(shí)空間、封閉空間等。關(guān)于這些空間的表述往往是抽象的而非具象的。第二種是狹義的影像空間,指的是基于銀幕的透視法所形成的物理空間。我們可以將其理解為銀幕空間或者畫框空間,當(dāng)然其也包含畫框以外的內(nèi)容,比如吉爾·德勒茲(GillesDeleuze)就認(rèn)為畫外無法被看到或被理解,但卻是完美地存在著,這種存在涉及畫框的兩個(gè)概念?;氐桨驳铝摇ぐ唾潱ˋndre Bazin)對(duì)蒙版或畫框的備選,我們發(fā)現(xiàn)有時(shí)候畫框如同移動(dòng)的蒙版,蒙版里的部分與同質(zhì)的集合交流;有時(shí)候畫格又如同圖像的畫面,孤立其體系抵消其環(huán)境。 對(duì)標(biāo)上述廣義與狹義的影像空間,馬塞爾·馬爾丹(MarcelMartin)也曾經(jīng)把影像空間分為再現(xiàn)空間和構(gòu)成空間。再現(xiàn)空間是狹義的,是攝影機(jī)所拍攝的物理空間。而構(gòu)成空間則是廣義的,是由鏡頭組接(蒙太奇)形成的,事實(shí)上這種構(gòu)成空間是觀眾的想象,更多是一種精神層面的活動(dòng)。
數(shù)字影像空間的構(gòu)型則沒有傳統(tǒng)影像空間的廣義或者狹義之分。以CGI(計(jì)算機(jī)生成圖像)為基礎(chǔ)的數(shù)字影像的空間是生成式的,這種虛擬空間不能體現(xiàn)現(xiàn)實(shí)世界的物理空間。此外,即便是由數(shù)字?jǐn)z影機(jī)拍攝的影像,其所表現(xiàn)的空間也不是對(duì)現(xiàn)實(shí)空間的復(fù)刻而是一種扭曲。甚至在某種程度上,為了最大化影像語(yǔ)言中的修辭,造就數(shù)字景觀下的審美奇觀,數(shù)字影像空間本質(zhì)就是對(duì)現(xiàn)實(shí)空間的重塑。因此對(duì)數(shù)字影像空間的構(gòu)型需要放在數(shù)字景觀的審美下去理解。
一方面,從最初CGI建模到最近OpenAI官宣的Sora的生成式影像,計(jì)算機(jī)依賴深度圖建構(gòu)了與現(xiàn)實(shí)世界沒有關(guān)聯(lián)和指示的虛擬空間,構(gòu)成了實(shí)質(zhì)上的數(shù)字景觀。另一方面,數(shù)字技術(shù)拓展了影像的表述,尤其是類似于深度圖的技術(shù)拓展了影像的空間表述,使觀眾把數(shù)字影像的空間具身化,與自身對(duì)空間的感知相聯(lián)系,獲得在數(shù)字影像空間感知層面上的真實(shí),其直指人類觀影時(shí)抽象概念和人類的欲望深處,帶來無與倫比的觀影體驗(yàn)。在這里我們可以把數(shù)字景觀理解為影像語(yǔ)言中的修辭。這就是我們要重點(diǎn)探討的——傳統(tǒng)影像空間對(duì)現(xiàn)實(shí)世界的臨摹逐漸轉(zhuǎn)向數(shù)字影像空間以“視覺奇觀”為主的感官娛樂體驗(yàn)?!皵?shù)字視覺特效所構(gòu)建的影像精致程度,讓所有真實(shí)與不真實(shí)的東西看上去同等真實(shí)了。”
深度圖帶來的數(shù)字影像空間構(gòu)型就是這種“視覺奇觀”的基礎(chǔ)。深度圖是計(jì)算機(jī)圖形學(xué)中的一個(gè)概念,通常記錄場(chǎng)景中各個(gè)像素點(diǎn)到攝影機(jī)的距離。深度信息往往是歸一化的非線性表示。作為數(shù)字景觀的“數(shù)字”,深度圖依靠激光雷達(dá)捕捉的深度信息是建立在現(xiàn)實(shí)空間基礎(chǔ)上的,即便對(duì)深度信息再加工也是在藝術(shù)表現(xiàn)層面的加工,并不是要改變深度信息。作為數(shù)字景觀的“奇觀”,深度圖也可以是生成的,深度信息本身意味著表現(xiàn)而不是呈現(xiàn),是空間深度感的創(chuàng)造而不是臨摹。這就有了電影《2012》加州海灘崩塌的壯觀,也就有了《阿凡達(dá)》中潘多拉星球的絢爛多彩。很顯然《2012》和《阿凡達(dá)》依靠深度圖技術(shù)展現(xiàn)了一種數(shù)字景觀,該景觀中的空間構(gòu)型,既不是現(xiàn)實(shí)空間的模樣,也不是心理學(xué)或者社會(huì)學(xué)意義的構(gòu)成空間,是攜帶深度信息的數(shù)字影像所特有的空間構(gòu)型。
二、以深度感為參照的傳統(tǒng)與數(shù)字影像空間的比對(duì)
有必要強(qiáng)調(diào)的是,我們?cè)谶@里討論的深度圖不參與生成式的數(shù)字影像空間的建構(gòu)。有兩個(gè)原因:一是篇幅所限以及生成式數(shù)字影像技術(shù)的發(fā)展尚未成型;二是我們要聚焦的深度圖技術(shù)目前大量使用在由數(shù)字?jǐn)z影機(jī)拍攝的影像中。同樣基于攝影機(jī)拍攝,傳統(tǒng)影像空間和數(shù)字影像空間都不約而同地對(duì)深度感有所規(guī)約。傳統(tǒng)影像空間往往使用軸線、景深、運(yùn)鏡等用以表現(xiàn)空間的深度感。
我們通常稱軸線為180度準(zhǔn)則。軸線規(guī)定了影像空間的關(guān)系——攝影機(jī)必須在假想線條的一側(cè)運(yùn)動(dòng),如果跨越了這條假想的線,觀眾則會(huì)出現(xiàn)視覺連接上的困難。正如希爾蓋·米哈伊洛維奇·愛森斯坦(Sergei Mikhailovich Eisenstein)所說,軸線的本質(zhì)是幫助觀眾在鏡頭組接過程中獲取主體位置,離開鏡頭組接,軸線就沒有意義。因此軸線并不直接表達(dá)深度感,其本質(zhì)是一種構(gòu)成空間而不是再現(xiàn)空間。軸線對(duì)影像空間的描述需要觀眾整合認(rèn)知的想象力參與。
景深也只能是間接參與深度感的表達(dá)。景深效果的形成是光線進(jìn)入攝影機(jī)透鏡組折射的結(jié)果。景深效果與攝影機(jī)的焦段、攝影機(jī)與對(duì)象的距離以及透光量(光圈F值)有關(guān)。自?shī)W森·威爾斯(Orson Welles)1940年拍攝電影《公民凱恩》之后,景深如同非線性敘事,逐漸成為影視藝術(shù)的標(biāo)配。景深是影像空間深度感的表現(xiàn),但景深并不等同于深度信息。在景深的三要素中,焦段和光圈大小與深度信息均無直接關(guān)系,攝影機(jī)與被攝對(duì)象的距離與深度信息有關(guān)。
通過運(yùn)鏡來表達(dá)深度感是二維銀幕缺乏深度的無奈之舉。運(yùn)鏡的本質(zhì)是通過攝影機(jī)的運(yùn)動(dòng),利用透視法在2D銀幕上達(dá)到對(duì)空間深度感的表現(xiàn)。透視法可以追溯到文藝復(fù)興時(shí)期的繪畫藝術(shù),其精心營(yíng)造一個(gè)“有中心的空間”,這個(gè)空間的中心與觀看者的眼睛相適應(yīng)。 對(duì)于影像空間來說,運(yùn)鏡主要是攝影機(jī)的運(yùn)動(dòng)和攝影機(jī)內(nèi)部透鏡組的運(yùn)動(dòng)。我們以同時(shí)涵蓋攝影機(jī)運(yùn)動(dòng)和攝影機(jī)內(nèi)部透鏡組運(yùn)動(dòng)的推軌變焦鏡頭(英譯Vertigo,又稱為DollyZoom)為例進(jìn)行分析。該鏡頭于1958年首次出現(xiàn)在阿爾弗萊德·希區(qū)柯克(Alfred Hitchcock)執(zhí)導(dǎo)的電影《迷魂記》中,用以表現(xiàn)主體迷幻眩暈的效果。在此之后,導(dǎo)演史蒂芬·斯皮爾伯格(Steven Spielberg)、馬丁·史柯西斯(MartinScorsese)也經(jīng)常借助推軌變焦鏡頭,表現(xiàn)角色內(nèi)心的恐懼。如圖1所示,2023年上映的電影《消失的她》第13分鐘,導(dǎo)演使用傳統(tǒng)的推軌變焦鏡頭來表現(xiàn)男主角面對(duì)突如其來的冒牌妻子,在查看監(jiān)控時(shí)的驚恐困惑。雖然運(yùn)鏡通過透視法表現(xiàn)了影像空間,但是如同景深一樣,運(yùn)鏡對(duì)于深度感的表述也只是間接的,甚至當(dāng)我們使用推軌變焦鏡頭后,運(yùn)鏡對(duì)深度感不僅不寫實(shí),相反是扭曲的。
盡管人們?cè)趥鹘y(tǒng)影像空間千方百計(jì)地表現(xiàn)深度感,但這種深度感的表述是有限的,而且大多數(shù)情況下嚴(yán)重依賴透視法——借助于近大遠(yuǎn)小的透視現(xiàn)象來表現(xiàn)物體的深度感。透視法的發(fā)明是基于數(shù)學(xué)原理,其被運(yùn)用到繪畫藝術(shù)中,是科學(xué)與藝術(shù)的結(jié)合。和現(xiàn)實(shí)中肉眼觀看到的世界不同,傳統(tǒng)影像空間直至今日依舊缺乏肉眼觀測(cè)現(xiàn)實(shí)世界的深度感,為了表現(xiàn)一個(gè)立體的物像,我們必須選擇攝影機(jī)的機(jī)位和角度。魯?shù)婪颉垡驖h姆(RudolfArnheim)在他1933年寫的《電影修正稿》中不僅承認(rèn)傳統(tǒng)影像缺乏空間深度感,同時(shí)也肯定了透視法的重要性:對(duì)于那用輕蔑的口吻把攝影機(jī)說成是一種自動(dòng)記錄的人,必須首先讓他懂得即使給一個(gè)非常簡(jiǎn)單的物體拍一張非常普通的照片,也同樣需要對(duì)物體的性質(zhì)有所把握,而這遠(yuǎn)不是任何機(jī)械動(dòng)作所能做到的。 這種對(duì)于物體性質(zhì)的把握本質(zhì)上就是透視法。魯?shù)婪颉垡驖h姆認(rèn)為,影像效果既不是絕對(duì)平面的,也不是絕對(duì)立體的,它介于這兩者之間。影像畫面既是平面的,又是立體的。 他的這種認(rèn)識(shí)與他承認(rèn)影像深度感缺乏并不沖突,這也再次說明了在傳統(tǒng)影像空間中,所謂深度感的表述是一種表現(xiàn)而非呈現(xiàn)。
隨著影像數(shù)字技術(shù)的進(jìn)步,傳統(tǒng)的影像空間逐漸被數(shù)字影像空間取代。數(shù)字影像空間自帶深度信息,不僅表現(xiàn)深度感,更關(guān)注數(shù)字景觀下影像空間的審美體驗(yàn)——數(shù)字技術(shù)帶來的數(shù)字影像空間或宏偉壯麗或旖旎燦爛,這些景象是現(xiàn)實(shí)世界少有的,對(duì)影像的抒情以及隱喻的表述有幫助。我們發(fā)現(xiàn)數(shù)字影像的空間時(shí)常是扭曲的。數(shù)字影像空間無須完全還原現(xiàn)實(shí)世界的場(chǎng)景深度。換言之,影像只需要告知觀眾“空間”的存在。復(fù)刻一個(gè)1∶1的場(chǎng)景深度并非數(shù)字影像空間的首要職責(zé),“扭曲空間”才是數(shù)字景觀下數(shù)字影像空間的“天生我材必有用”。
最后我們要從數(shù)字影像空間的3D效果來探討深度感。3D效果是一種不完全依賴于透視法展現(xiàn)影像空間的技術(shù)。3D并非新鮮產(chǎn)物,1839年就有立體眼鏡的出現(xiàn),甚至早在20世紀(jì)70年代,蘇聯(lián)就已經(jīng)實(shí)驗(yàn)過不依賴于3D眼鏡的全息立體影像。3D效果的影像在20世紀(jì)的發(fā)展并不快,這里有很多客觀因素。雖然門類眾多,但萬(wàn)變不離其宗,即利用雙鏡頭攝影機(jī)和偏振鏡片以及人們的雙眼視差和匯聚功能產(chǎn)生影像空間的深度效果。今日學(xué)界探討的3D影像有兩大類別。一種是3D攝影機(jī)拍攝的,無論拍攝還是播放都是兩路的影像,比如好萊塢電影《阿凡達(dá)》《馬達(dá)加斯加》《蜘蛛俠》等,它們都是3D效果影像的成功案例。另一種則是更為常見的2D轉(zhuǎn)3D,這種轉(zhuǎn)換技術(shù)是將之前保存的2D影像畫面的各部分嵌入計(jì)算機(jī)模擬的CGI空間,其本質(zhì)上是一路影像的衍生,通過還原初始的攝影機(jī)位置,模擬計(jì)算3D虛擬攝影機(jī)的位置來產(chǎn)生視差。比如導(dǎo)演卡梅隆在1997年拍攝的《泰坦尼克號(hào)》,于2012年首次轉(zhuǎn)為3D效果影像進(jìn)入院線,之后多次重返銀幕。在3D效果影像的展映中,2D轉(zhuǎn)3D是較為常見的,甚至大部分3D效果的影像本身也用到了2D至3D的轉(zhuǎn)換技術(shù)。譬如電影《阿凡達(dá)》除了3D攝影機(jī)的實(shí)拍之外,就有大量2D至3D的轉(zhuǎn)換。2D轉(zhuǎn)3D不僅是建構(gòu)一個(gè)虛擬3D攝影機(jī)制造視差這么簡(jiǎn)單,人腦對(duì)深度的處理非常微妙且多變,正如詹姆斯·卡梅隆(James Cameron)所說:“在3D轉(zhuǎn)換技術(shù)中,最難實(shí)現(xiàn)的一點(diǎn)是怎樣將其‘以對(duì)的方式’來進(jìn)行轉(zhuǎn)換?!?/p>
影像從2D向3D轉(zhuǎn)換涉及幾個(gè)核心技術(shù)。一是制造視差技術(shù),如圖2所示,正負(fù)視差代表著影像在銀幕前后分別形成的3D效果,這也就意味著不僅要對(duì)每一幀畫面恢復(fù)原視角,同時(shí)還要計(jì)算虛擬3D攝影機(jī)的機(jī)位。二是為畫面增加深度信息技術(shù),這也是我們即將提及的深度圖技術(shù),但是這種深度信息僅僅是預(yù)估,并不是真實(shí)的物象與攝影機(jī)的距離,換言之,其是一種扭曲的深度圖。三是摳像與合成技術(shù),它是在后期應(yīng)用的數(shù)字技術(shù),其把原來處在同一深度的意素通過摳像分離出來,在沒有深度信息的情況下依靠透視法、景深等制造深度效果。在不久的將來,計(jì)算機(jī)可以生成帶有深度信息的影像,現(xiàn)有的Photoshop、達(dá)芬奇的AI生成、數(shù)字化剪輯將滲透到所有影像制作領(lǐng)域。
如果說全息影像才是真正意義上的3D影像,那么,依賴于二維銀幕和視差的所謂“ 3 D 影像”只能稱為“3D效果的”影像。即便使用3D攝影機(jī)拍攝出來的影像,也無法完全模擬由視覺傳遞至大腦的微妙復(fù)雜的深度信息——這其中不僅是視差,還有曲率信息以及復(fù)合的深度信息,即每個(gè)像素點(diǎn)實(shí)質(zhì)上是不同物體深度值的疊加。深度圖技術(shù)當(dāng)然也在“3D效果的影像”討論范圍內(nèi)。
三、深度圖用于數(shù)字影像空間的藝術(shù)表現(xiàn)
深度圖通過在每個(gè)像素上記錄其到攝像機(jī)或觀察者的距離來表示物體的遠(yuǎn)近。圖3是作者拍攝的深度影像。深度圖通常用像素的灰度值來表示遠(yuǎn)近,較遠(yuǎn)的物體用較小的灰度值或較亮的顏色表示,而較近的物體則用較大的灰度值或較暗的顏色表示。深度圖可以通過多種方式獲取,如使用深度傳感器(如ToF相機(jī)、結(jié)構(gòu)光相機(jī)、激光雷達(dá)等),采用立體視覺算法或通過其他技術(shù)從單個(gè)圖像中推斷出來。
在基于攝影術(shù)的2D影像中,每個(gè)像素點(diǎn)是不帶深度信息的,因此在后期進(jìn)行2D向3D效果轉(zhuǎn)換時(shí),我們只能根據(jù)畫面來估算每個(gè)像素點(diǎn)的位置信息。這種后期賦值的深度信息并不是原始的真實(shí)數(shù)據(jù),因此最終得出的影像空間并不是以現(xiàn)實(shí)世界的空間為基礎(chǔ)的,而是一個(gè)經(jīng)過估算的扭曲的影像空間。對(duì)于使用深度傳感器拍攝的影像來說,原始的深度信息雖然不能被修改,但其空間上的表現(xiàn)卻可以適當(dāng)調(diào)整,因此最終得出的是影像空間的扭曲。扭曲的影像空間和影像空間的扭曲有區(qū)別,前者的深度信息是不準(zhǔn)確的,只是為了展現(xiàn)一個(gè)3D效果,而后者是建立在準(zhǔn)確的深度信息上的,人們通過賦予不同深度位置的表現(xiàn)(景深、光照、運(yùn)鏡等),制造數(shù)字影像空間所特有的數(shù)字景觀。
我們以影像后期軟件FCPX和Dav i n c i為工具,探討深度圖對(duì)影像空間的重塑。我們所使用的素材由帶激光雷達(dá)的拍攝設(shè)備(iPhone 15pro max)拍攝,所形成的影像自帶深度信息。圖4是影像后期軟件達(dá)芬奇上顯示的帶深度信息的影像參數(shù)面板。右邊參數(shù)總體分為三個(gè)板塊。第一個(gè)板塊是對(duì)深度范圍的確定,比如遠(yuǎn)近端的極限距離,換言之,其是整個(gè)數(shù)字影像空間的深度,Gamma線決定了整體的表現(xiàn)程度。第二個(gè)板塊是表現(xiàn)層面,主要是對(duì)主體目標(biāo)的鎖定。目標(biāo)深度的滑塊如同對(duì)焦的焦平面,在容差的范圍內(nèi)都是重點(diǎn)表現(xiàn)的。第三個(gè)板塊是對(duì)深度信息的優(yōu)化,比如過渡部分的邊緣羽化、降噪等。三個(gè)板塊的本質(zhì)是把深度信息的灰度值轉(zhuǎn)換為蒙版的灰度值,通過蒙版的介質(zhì)使光影、色彩等特定的影像后期效果作用于各個(gè)不同的深度層面。深度圖信息隱介藏形,而蒙版卻是可以利用表現(xiàn)的。作為數(shù)字影像空間的扭曲,深度圖對(duì)數(shù)字影像空間的重塑不是通過修改深度信息重新分配物理空間,而是通過修改深度信息的表現(xiàn)效果達(dá)到一種空間上的扭曲。
我們從工具理性的層面,從焦點(diǎn)和景深的分配、重新照明和色彩分層、利用深度信息運(yùn)鏡三個(gè)方面來探討深度圖對(duì)數(shù)字影像空間的重塑。
一是焦點(diǎn)和景深的分配。蘋果公司發(fā)布的iPhone13 Pro具有“電影效果”,也就是長(zhǎng)焦鏡頭特有的焦點(diǎn)切換和淺景深。對(duì)于焦段有限的手機(jī)攝像頭來說,透鏡組的光學(xué)景深較深,所攝物像都在焦平面范圍內(nèi),不僅很難進(jìn)行焦點(diǎn)切換,也很難通過光學(xué)攝影自然形成景深效果。因此iPhone的“電影效果”本質(zhì)上是在深度圖技術(shù)基礎(chǔ)上,使遠(yuǎn)離攝影機(jī)的像素點(diǎn)呈現(xiàn)不同程度的模糊(高斯模糊或運(yùn)動(dòng)模糊等)?!半娪靶Ч毙薷牡牟⒉皇巧疃刃畔?,而是基于深度信息的“清晰度”,即模糊和銳化的程度??偠灾?,“電影效果”修改的不是深度信息而是深度效果。不僅如此,在數(shù)字景觀視閾下,數(shù)字影像空間往往不滿足于現(xiàn)實(shí)空間深度效果的表述,常常通過更為夸張或是淡化的深度效果,來呈現(xiàn)數(shù)字影像空間的扭曲。
二是重新照明與色彩分層,也就是光影的塑造。重新照明并不旨在改變像素的深度信息,而是通過光線去營(yíng)造不同的深度效果。重新照明需要模擬現(xiàn)實(shí)世界的光照,其不得不借助深度信息在縱深空間中獲得明暗不同的光線效果。重新照明從本質(zhì)上來說,是在二維銀幕上表達(dá)出光線在空間的深度。與景深的分配類似,當(dāng)我們基于深度信息修改光照效果后,重新照明就做到了對(duì)數(shù)字影像空間的重塑,或使原本敞亮的空間幽閉,或使原本局促的布局空曠。
配合重新照明,我們也可以做到縱深的顏色分層,比如前后背景的冷暖色,以此來凸顯前后景別的色溫差,形成強(qiáng)烈的視差和呼之欲出的效果。色彩原本是影像語(yǔ)言的修辭,是對(duì)觀影心理情緒的寫定。比如紅色代表喜慶、熱情、重生;橙色代表溫暖、親切、活力或虛偽、嫉妒;黃色代表光明和鼓舞;綠色代表生命、青春等。隨著深度信息的介入,色彩分層逐漸具有展示空間的能力,形成調(diào)色系統(tǒng)下獨(dú)樹一幟的數(shù)字景觀。
眾所周知,在影像的數(shù)字化進(jìn)程中,色彩往往通過色彩空間來表示。色彩模型(比如RG B的三維坐標(biāo))加上特定的映射函數(shù)就可以形成一個(gè)色彩空間。色彩空間和影像空間并沒有必然的聯(lián)系。數(shù)字化的色彩空間與數(shù)字影像空間有抽象的、概念上的接口。色相之間的距離對(duì)于像素點(diǎn)之間的距離是有暗示的。比如黃色與橙色的距離相較于黃色與藍(lán)色的距離在觀眾心理上是更為貼近的。如果說在色輪上互補(bǔ)色、三原色用以表達(dá)影調(diào)和修辭的影像配色方案,那么在具有深度信息的數(shù)字影像空間里,色輪上的這些配色方案則變成對(duì)數(shù)字影像空間感的表現(xiàn)。色相相近的代表著更為貼合的空間,而互補(bǔ)色等反差鮮明的色相則代表著更為遙遠(yuǎn)的距離。
三是利用深度信息的運(yùn)鏡。在A E 和MOTION之類的后期軟件中,我們有一個(gè)虛擬攝影機(jī)的視角用于后期數(shù)字特效中的運(yùn)鏡以及影像的拼合。圖5所示的是后期軟件MOTION 5中的攝影機(jī)視角。我們發(fā)現(xiàn)雖然攝影機(jī)視角是在一個(gè)3D的空間操作,但是影像在這個(gè)3D空間中顯示的是2D的平面。比如圖5中的兩個(gè)物象,從上面視角來看僅顯示兩條直線。只有CGI制作的3D影像(通常是STL、OBJ、FBX、DAE或USDZ的格式)才能在這個(gè)空間中以完全3D的形式展開。因此對(duì)于傳統(tǒng)影像的后期工業(yè)來說,這種攝影機(jī)視角本質(zhì)上是在一個(gè)3D的空間去看2D平面。攝影機(jī)雖然提供了一個(gè)3D空間,但是這個(gè)3D空間是外部的,不是數(shù)字影像的內(nèi)部空間,攝影機(jī)并沒有在數(shù)字影像內(nèi)部空間運(yùn)作,其運(yùn)鏡對(duì)象是整體畫框而不是畫框內(nèi)的物象。
深度圖技術(shù)的出現(xiàn),打破了原本畫框的整體性,畫框中不同深度信息的物象得以區(qū)分,這使原本2D的畫面在3D的空間中分層,便于攝影機(jī)進(jìn)入畫框內(nèi)部。需要注意的是,即便像素點(diǎn)含有深度信息,但由于沒有包括曲率在內(nèi)的完全的3D信息,我們看到的仍然是平面。在這種情況下,攝影機(jī)進(jìn)入到畫框內(nèi)部進(jìn)行運(yùn)鏡意義不大。比如我們無法越軸,虛擬的數(shù)字?jǐn)z影機(jī)不要說跨越軸線,即便是在軸線的一側(cè)進(jìn)行較大幅度的運(yùn)鏡也會(huì)導(dǎo)致畫面出框。這就是為什么在目前主流的后期軟件MOTION 5、AE中,雖然引進(jìn)深度圖技術(shù)并非難事,但這些軟件至今沒有在數(shù)字?jǐn)z影機(jī)視角中得以使用。在不遠(yuǎn)的將來,后期軟件的虛擬攝影機(jī)利用深度信息在縱向上運(yùn)鏡卻是可能的。
眾所周知,傳統(tǒng)Vertigo的技術(shù)難度在于保持?jǐn)z影機(jī)透鏡組的推拉和攝影機(jī)移動(dòng)的一致性,也就是說,我們必須使攝影機(jī)透鏡組推拉造成的物象透視大小的改變與攝影機(jī)運(yùn)動(dòng)造成的物象透視大小的改變相抵消,才能達(dá)到主體透視大小不變但周圍環(huán)境透視大小改變的效果。在傳統(tǒng)影像的制作中,攝影機(jī)透鏡組的推拉與攝影機(jī)本身移動(dòng)的匹配不僅較為困難,往往還是不夠精準(zhǔn)和不可控的。深度信息的介入使這項(xiàng)工作可以在后期的軟件中輕松完成,通過數(shù)字?jǐn)z影機(jī)視角的推拉和移動(dòng),可以輕松形成主體不變而背景變化扭曲的效果。對(duì)傳統(tǒng)攝影來說,主體不變而背景變化是不可控的,但深度圖技術(shù)下的數(shù)字影像空間是可控的。我們可以用數(shù)字效果搭配虛擬數(shù)字?jǐn)z影機(jī)來完成,這就可以形成更為夸張的影像空間的扭曲。
四、深度曲線作為數(shù)字景觀本體的印證
我們已經(jīng)論證過深度圖適配相應(yīng)的數(shù)字效果可以用來表現(xiàn)數(shù)字影像空間,實(shí)現(xiàn)觀眾數(shù)字景觀的審美。但這些適配是局部的,要想系統(tǒng)地重塑數(shù)字影像空間則需要深度曲線。深度曲線是在坐標(biāo)系中以深度信息作為參數(shù)的函數(shù)映射。不同的深度曲線將建構(gòu)不同類型的數(shù)字影像空間。由深度曲線建構(gòu)的數(shù)字影像空間,是現(xiàn)實(shí)中從未有過的空間奇觀,或者從某種意義上說,深度曲線就是數(shù)字景觀應(yīng)運(yùn)而生的本體部分。
數(shù)字景觀本體有兩層含義,一是數(shù)字技術(shù)本身的特性,比如說函數(shù)建構(gòu)的連續(xù)性;二是由數(shù)字技術(shù)特性帶來的奇觀。數(shù)字影像的奇觀和數(shù)字技術(shù)特性往往密不可分。吉爾·德勒茲在《運(yùn)動(dòng)影像》一書中提及,不可分割的連續(xù)性成為近代科學(xué)的一個(gè)鏈條。開普勒(Ke p l er)、伽利略(Galileo)、牛頓(Newton)等人皆在不同科學(xué)領(lǐng)域印證了這一點(diǎn)。數(shù)字影像的連續(xù)性似乎成為這個(gè)科學(xué)鏈條的最后一個(gè)環(huán)節(jié)。 對(duì)于連續(xù)的數(shù)字影像空間來說,深度信息不可篡改,但在連續(xù)的坐標(biāo)中可以被函數(shù)映射。影像的連續(xù)性從某種意義上成為可以用坐標(biāo)表示的畫面與函數(shù)的映射關(guān)系。
不遠(yuǎn)的將來利用深度信息的數(shù)字影像空間完全可以用參數(shù)方程來表示,其本質(zhì)是深度信息作為參數(shù)的函數(shù)映射。我們以函數(shù)y=f(x)來表示像素到攝影機(jī)的距離(真實(shí)距離)與像素到銀幕的距離(影像空間)之間的關(guān)系。最直觀的真實(shí)場(chǎng)景還原是一個(gè)1∶1的線性關(guān)系,即y=x,但是旨在創(chuàng)造數(shù)字景觀的我們需要數(shù)字影像空間的重塑,比如:
① y=kx+a,這種線性函數(shù)在銀幕上的展現(xiàn)本質(zhì)上是一種鏡頭的位移和推拉,其改變的是虛擬攝影機(jī)與像素之間的距離,也就是像素與銀幕的距離發(fā)生了改變,而像素內(nèi)部的位置關(guān)系并沒有發(fā)生變化。因?yàn)橄袼嘏c銀幕的距離發(fā)生了改變,相應(yīng)的視覺呈現(xiàn)比如透視法的大小景深、光線等也會(huì)發(fā)生變化。
② y=ax2+bx+c,這是二次函數(shù)曲線,這種非典型的線性函數(shù)造就了影像空間的自由扭曲,不僅銀幕與像素之間的距離發(fā)生了變化,像素之間的相對(duì)位置也發(fā)生了變化。當(dāng)斜率小于1的時(shí)候,物象與原始攝影機(jī)之間的距離小于像素與銀幕之間的距離。反之,當(dāng)斜率大于1時(shí),物象與原始攝影機(jī)之間的距離大于像素與銀幕之間的距離。如果對(duì)函數(shù)進(jìn)行求導(dǎo),我們會(huì)發(fā)現(xiàn)斜率值越大,該位置的像素排列越緊湊。
③ y=logax,這是一條Log對(duì)數(shù)曲線,這種非線性的函數(shù)對(duì)于影像空間來說非常典型。我們借鑒了色彩空間中的Log。在影像的色彩空間中,Log是Logarithmic的縮寫,本質(zhì)上是一條對(duì)應(yīng)曝光值和位深關(guān)系的曲線,是非線性的,尤為適合人眼和膠片(兩者對(duì)光線的寬容度都遠(yuǎn)大于數(shù)字)。LogC本質(zhì)上是對(duì)膠片的模擬,它將膠片上的光學(xué)信息轉(zhuǎn)換成Log對(duì)數(shù)函數(shù)的數(shù)字信息,有更為寬廣的動(dòng)態(tài)和色彩空間,可以記錄更多亮暗部細(xì)節(jié)。而數(shù)字?jǐn)z影機(jī)的Log模式是擁有這條對(duì)數(shù)函數(shù)曝光曲線的視頻記錄模式。通常這種Log模式在顯示器上是灰色低飽和的,為了在HD或UHD監(jiān)視器(Rec 709/Rec 2020)以及數(shù)字放映機(jī)(P3)上正確顯示LogC畫面,必須針對(duì)目標(biāo)色彩空間進(jìn)行色調(diào)映射,這個(gè)轉(zhuǎn)換過程要使用3D查色表(3D LUT),以使之可以在不同顯示器上正確顯示。
如果說帶Log的灰片是對(duì)色彩空間的扭曲,那么我們也可以把這種對(duì)數(shù)函數(shù)曲線應(yīng)用到數(shù)字影像空間中去。Log曲線同樣可以通過映射深度信息營(yíng)造一個(gè)高動(dòng)態(tài)的影像空間,使我們即便是依賴透視法面對(duì)2D銀幕,也可以在縱深上捕獲更多視覺范圍內(nèi)的深度信息。吉爾·德勒茲在《運(yùn)動(dòng)影像》一書中指出,如果一定要類比的話,畫框是一個(gè)信息系統(tǒng),畫框不可分地呈現(xiàn)兩種趨勢(shì),傾向于飽和或傾向于稀釋。寬銀幕的縱深允許多個(gè)獨(dú)立數(shù)據(jù)的存在,傾向于飽和的時(shí)候我們可以利用深度Log曲線最大程度區(qū)分前后景,如威廉·惠勒(William Wyler)導(dǎo)演經(jīng)常使用的那樣;我們也可以利用深度Log曲線讓前后景別混雜,如羅伯特·奧特曼(Robert Altman)的風(fēng)格。傾向于稀釋的時(shí)候,我們可以讓場(chǎng)景被單獨(dú)的物象遮住,如阿爾弗雷德·希區(qū)柯克(Alfred Hitchcock)導(dǎo)演的《深閨疑云》中杯中的牛奶倒出以及《后窗》中暗黑里點(diǎn)燃的香煙;我們也可以讓整體被局部清空,如米開朗基羅·安東尼奧尼(Michelangelo Antonioni)的荒野沙漠以及小津安二郎(Yasujiro Ozu)空蕩蕩的內(nèi)部。由此可見,賦予深度圖一條Log曲線本質(zhì)上是對(duì)數(shù)字影像空間的重塑。正如我們前面所說的數(shù)字特性和奇觀,深度Log曲線是數(shù)字特性,影像空間的藝術(shù)表現(xiàn)是奇觀。深度Log曲線原本和影像空間并沒有任何關(guān)系,正因?yàn)橛跋窨臻g的數(shù)字化表述造就了這兩者之間聯(lián)系的必然性,呈現(xiàn)了一種純粹的數(shù)字景觀,因此我們可以把表現(xiàn)影像空間的深度Log曲線理解為數(shù)字景觀的本體。
五、結(jié) 語(yǔ)
從工具論的角度看,深度圖對(duì)數(shù)字影像空間的重塑制造了觀影奇觀。本文多次提及“數(shù)字影像空間的扭曲”和“數(shù)字影像空間的重塑”,這兩者之間看似相近卻有先后的邏輯關(guān)系。數(shù)字影像空間的數(shù)字特性必然決定了“影像空間的扭曲”,直接的結(jié)果就是“影像空間的重塑”,因此“扭曲”是原因,“重塑”是結(jié)果?!爸厮堋钡母灸康牟辉谟诟淖兛臻g,而在于制造數(shù)字影像的奇觀。深度曲線的提出對(duì)于影視生產(chǎn)有前瞻性,不僅借鑒了色彩空間的高動(dòng)態(tài)函數(shù)映射,也為深度信息在影像空間的使用指明了方向。從系統(tǒng)論的層面來看,深度信息的介入無疑對(duì)影像語(yǔ)言的修辭有強(qiáng)烈的暗示。而在數(shù)字技術(shù)加持下,影像語(yǔ)言的修辭是數(shù)字景觀在象征界的約定俗成。影像語(yǔ)言自20世紀(jì)60年代起就由克里斯蒂安·麥茨(Christian Metz)、皮埃爾·保羅·帕索里尼(Pier Paolo Pasolini)、溫貝托·艾柯(Umberto Eco)、馬提歐·加洛尼(Matteo Garrone)等人從不同角度拓展。比如帕索里尼在《詩(shī)的電影》一書中認(rèn)為,影像來源于現(xiàn)實(shí),即現(xiàn)實(shí)優(yōu)先于影像,現(xiàn)實(shí)世界是影像交流的工具性基礎(chǔ),是先于影像而存在的。這種理解事實(shí)上把傳統(tǒng)影像空間對(duì)現(xiàn)實(shí)空間的臨摹放在一個(gè)絕對(duì)位置。該觀點(diǎn)遭到了艾柯的批駁,他認(rèn)為包括影像在內(nèi)的圖像都是社會(huì)習(xí)慣和文化的產(chǎn)物,影像如同繪畫的相似性一樣也是個(gè)文化規(guī)范問題,不涉及形象與客體之間的關(guān)系,而是涉及印象和文化客體之間的關(guān)系。這樣的理解更加符合數(shù)字景觀視閾下的數(shù)字影像空間。
隨著數(shù)字技術(shù)的發(fā)展,人們對(duì)“影像顆?!钡陌芽馗鼮榫珳?zhǔn)。種種跡象表明,攜帶深度信息的“影像的像素”可能逐漸被視為影像的基本離散單元。換言之,影像語(yǔ)言的天平逐漸向查爾斯·桑德斯·皮爾斯(Cha r l e s S a n d e r sPeirce)符號(hào)體系傾斜。影像哲學(xué)的代表人物德勒茲否認(rèn)皮爾斯理想的圖解,認(rèn)為圖解是遺傳、創(chuàng)造性的,同時(shí)認(rèn)為,圖解作為一種類比調(diào)制器,是物質(zhì)與功能的結(jié)合,由此他把影像界定為讀圖的過程。
影像的深度圖技術(shù)是影像數(shù)字化的重要組成部分。人類的影像體系暫時(shí)還沒有脫離2D的銀幕,深度信息在某種程度上彌補(bǔ)了透視法的不足。深度圖的出現(xiàn)及其廣泛使用不僅使業(yè)界的影像空間重塑從攝影術(shù)的前期工作轉(zhuǎn)移到更為便利自由的后期制作,也在約定俗成的象征界進(jìn)行影像語(yǔ)言的修辭,創(chuàng)造了大量的數(shù)字景觀。在生成式AI逐步介入影視后期制作的當(dāng)下,深度信息作為像素的屬性參數(shù)也同樣可以生成。有了深度信息和相關(guān)算法,計(jì)算機(jī)可以迅速制作對(duì)應(yīng)位置的色彩、光線和景深,這極大程度上減輕了影視后期制作人員的負(fù)擔(dān)。隨著影像技術(shù)的發(fā)展,尤其是生成式CGI影像的深化以及全息影像的出現(xiàn),我們當(dāng)下討論的數(shù)字影像空間將變得更為復(fù)雜,將形成前所未有的數(shù)字景觀。
(作者系華東師范大學(xué)傳播學(xué)院副教授,華東師范大學(xué)影視創(chuàng)編中心主任)