光場技術(shù):讓用戶擁有更自然的景深
當(dāng)你走過一扇窗,你會發(fā)現(xiàn)什么?也許是窗外色彩繽紛的景色,也許是徐徐吹來的涼風(fēng),但最重要的是,你在窗子的正面和左右角度看到的東西有很大差異。
那么,如果說你剛才經(jīng)過的不是窗戶,而是一臺電視機呢?當(dāng)然,眼下的電視機是無法達(dá)到這種體驗的——因為它只是單純的2D平面。要讓電視機真正實現(xiàn)“窗戶”的感覺就要倚仗光場技術(shù),而這也很有可能是未來VR(虛擬現(xiàn)實)/AR(增強現(xiàn)實)的顯示技術(shù)。
▲光場技術(shù)應(yīng)用到VR領(lǐng)域,給VR帶來了巨大的發(fā)展變革(圖/東方IC)
“嚴(yán)格來說,國內(nèi)VR領(lǐng)域的企業(yè)缺乏核心技術(shù)?!闭劶凹夹g(shù),疊境數(shù)字科技(上海)有限公司創(chuàng)始人、上??萍即髮W(xué)教授虞晶怡毫不留情地說。
目前,VR內(nèi)容制作主要有兩種主流方法:一是利用全景相機拍攝360度視頻,即360度環(huán)拍技術(shù);二是利用更加高端的軟件建模技術(shù),利用計算機工具打造更具沉浸感的VR游戲或視頻。但在虞晶怡看來,這些都不是VR內(nèi)容制作最理想的方法。
大約20年前,出現(xiàn)了一種影響深遠(yuǎn)的虛擬現(xiàn)實技術(shù)叫Quick-Time VR。這項技術(shù)很簡單:拿手機拍一圈,把照片拼成一個360度的圖片,現(xiàn)在手機上就能實現(xiàn)這個功能?!艾F(xiàn)在市面上很多做虛擬現(xiàn)實的公司就是用的這樣的技術(shù)!1996年的技術(shù)!”
“360度環(huán)拍技術(shù)最大的問題就是無法實現(xiàn)動態(tài)視覺?!庇菥р忉?,人眼重疊的區(qū)域特別大,在重疊區(qū)域里,由于左眼和右眼看到的東西一樣,就會形成動態(tài)的視野,這就是人眼的3D識別。然而,360度環(huán)拍技術(shù)無法實現(xiàn)這一功能。
早在1995年,蘋果就發(fā)布了一款主要拍攝360度圖片的QuickTime VR相機。虞晶怡試圖將QuickTime VR相機的技術(shù)運用到旅游上,并用360度環(huán)拍技術(shù)拍攝了拉斯維加斯賭場等地的全景照片,但最后卻發(fā)現(xiàn)做出來的全景照片并不怎么吸引人。虞晶怡認(rèn)為這個問題直到今天依然存在。
同樣,軟件建模技術(shù)雖然更高端,但不夠真實的缺點依然存在?,F(xiàn)在很多虛擬現(xiàn)實應(yīng)用場景,如VR看房,都是采用三維建模實現(xiàn)的——需要先建模、貼“皮膚”以及大量的人工,而且不可能做到非常精細(xì),導(dǎo)致最后的效果相當(dāng)粗糙。
什么是光場技術(shù)?虞晶怡舉了個例子:“人眼就是兩個天然的光場捕捉器?!比搜塾^看3D世界覺得真實,是因為雙目視覺看到的是立體而非平面圖像,在三維空間圍繞觀看可實現(xiàn)360度的視覺構(gòu)建,而且人眼具有對焦功能。
人眼之所以能實現(xiàn)這些復(fù)雜的功能,是因為人眼采集光線空間。而光場技術(shù)就是把人眼看到的光線空間采集下來,再將光線進行重組,可以讓虛擬現(xiàn)實模擬出人眼基于距離對物體聚焦、移動的效果,捕捉光線信息,重現(xiàn)三維世界,讓用戶擁有更自然的景深。
其實,光場技術(shù)已經(jīng)有幾十年的發(fā)展歷史。1936年,一個名叫Gershun的人提出用光場來描述光通過空間中某一點時在給定方向上的輻亮度。后來,多位科學(xué)家輪番登場,想用各種公式告訴人們光場到底是什么,但受限于技術(shù)水平的發(fā)展,光場一直處于小打小鬧、不溫不火的狀態(tài)。直到20世紀(jì)末期,光場技術(shù)得益于計算機科學(xué)與技術(shù)的迅速發(fā)展而實現(xiàn)了技術(shù)上的又一次飛躍。
近幾年,光場技術(shù)搭上VR/AR這趟高速行駛的“列車”,吸引了資本和巨頭的廣泛關(guān)注。至此,這項起源于20世紀(jì)初期的技術(shù),在經(jīng)歷近一百年的寂寞浮沉之后,才真正迎來了高速發(fā)展的春天。
光場技術(shù)應(yīng)用到VR領(lǐng)域,給VR帶來了巨大的發(fā)展變革,它幾乎滿足了人們對虛擬現(xiàn)實的所有要求:立體視差可以帶給人們真實的體驗,運動視差讓走入走出更加自然,對焦功能可以讓人更加舒服地感受VR內(nèi)容而不至于引起任何身體的不適,大大改善了目前VR沉浸感不足、頭痛、眩暈等問題,保證最真實的VR體驗。因此,業(yè)界普遍認(rèn)為,光場VR是未來虛擬現(xiàn)實行業(yè)發(fā)展的大趨勢。
需要特別注意的是,光場并不是一項只能應(yīng)用于VR/AR領(lǐng)域的技術(shù)。它的應(yīng)用極具想象力,并革命性地滲入虛擬電商、影視制作、教育、醫(yī)療、旅游、博物館展示展覽等各個領(lǐng)域。它的底層技術(shù)和計算機視覺有很多重疊,因此光場技術(shù)方面的突破也會促進甚至顛覆一些計算機視覺方面的進展。
前景雖好但需下功夫。國內(nèi)光場技術(shù)還處于發(fā)展階段,仍存在諸多不足。
上??萍即髮W(xué)虛擬現(xiàn)實與可視計算實驗室博士曹煊認(rèn)為,光場顯示現(xiàn)在面臨的最大困難就是顯示器件的革新,這需要材料學(xué)、光學(xué)、半導(dǎo)體等多個基礎(chǔ)學(xué)科的共同努力。光場采集不依賴于特殊的光學(xué)器件,用傳統(tǒng)的單反相機組成陣列即可采集光場,算法才是光場采集的核心。換句話說,光場顯示更依賴于特殊的顯示器件(硬件),而光場采集更依賴于算法(軟件)。所以光場技術(shù)必須采取軟硬兼施策略,缺一不可。
中國增強現(xiàn)實聯(lián)盟秘書處主任牛一鳴表示,光場本身還處在概念驗證階段,目前顯示設(shè)備及光學(xué)組件、計算設(shè)備滿足不了光場技術(shù)的要求,自然沒有成型的光場產(chǎn)品。
而且光場產(chǎn)品要往高分辨率、輕型化和小型化方向發(fā)展,這其中還有很多的問題需要解決。例如,如何能在單個場景中以快速、方便、低廉的形式來采集光場信息就是很大的難點。即使光場采集之后,這些龐大的光場信息也需要計算,并將虛擬物體呈現(xiàn)出來,疊加在一定場景中。其次,將這些光場信息從采集設(shè)備中輸出,這對計算機圖形算法提出了高要求。最后,目前光場顯示設(shè)備還沒有達(dá)到小型化程度,這也是個不小的難題。
牛一鳴認(rèn)為,光場技術(shù)還處于發(fā)展初期,相比之下,國外取得了領(lǐng)先優(yōu)勢,但國內(nèi)外差距可能只有三五年。國內(nèi)如果要追趕,既可從成像技術(shù)、光學(xué)等方面切入,也可以從材料、設(shè)備制作工藝方面下手,發(fā)揮國內(nèi)制造優(yōu)勢,實現(xiàn)光場產(chǎn)品的率先規(guī)?;a(chǎn)。(本刊綜合)※