謝宏斌,楊 勇,趙 星,方志良,袁小聰
(南開大學現(xiàn)代光學研究所光學信息技術科學教育部重點實驗室,天津300071)
自19世紀初銀鹽感光照相技術問世,人們就開始了對三維立體攝影與顯示技術的探索。在近兩百年的研究和探索中,已經(jīng)取得了一些突破性的成果,至今影響深遠,不過由于制作工藝和技術難度的限制,許多難題尚未解決,三維立體影像技術仍然沒有被廣泛應用。近年來,計算機技術的飛速發(fā)展為三維立體影像技術的發(fā)展提供了良好的技術基礎,立體電影已經(jīng)被搬上銀幕,給人們的影音娛樂方式帶來了新的期望,人們迫切期待三維立體攝影與顯示技術能走進尋常生活。除此之外,在商業(yè)、醫(yī)學、軍事等方面,三維顯示技術也有重要的應用前景。因此,作為下一代的顯示手段,三維顯示技術的研究具有重要意義。
在過去的兩百年里,為了真實記錄和再現(xiàn)三維世界,人們做出了很多努力,其中許多方法能有效地再現(xiàn)三維圖像。按照成像原理,三維顯示大致可以分為全息和非全息兩大類。全息技術是通過記錄參考光和物光的干涉條紋,然后用與記錄時相同的參考光來再現(xiàn)三維圖像。這種方法的優(yōu)點在于能夠重現(xiàn)物體的光強和位相信息,從而顯示具有真實深度信息的立體圖像。但由于記錄和再現(xiàn)過程(尤其是記錄過程)需要相干光源這一苛刻的條件,并且再現(xiàn)的圖像存在嚴重的色彩失真,因此全息技術一直沒有得到廣泛的應用[1-3]。相比之下,非全息技術更加容易實現(xiàn),獲得了許多研究人員的青睞。
非全息技術包括雙目視差、集成成像、真三維體顯示等。其中,真三維體顯示技術是將三維物體分成二維的點陣或者切面,并將其投影到一個旋轉或者抖動的屏幕上,然后通過人眼的視覺暫留效應產(chǎn)生立體效果[4]。由于系統(tǒng)構建復雜,該技術沒能得到廣泛應用。集成成像技術是在1908年由Lippmann提出來的,其基本原理是利用微透鏡陣列或者針孔陣列記錄并再現(xiàn)三維圖像。受微透鏡陣列的加工工藝限制,該技術自發(fā)明后沉寂了幾十年,直到60年代,相關的制作加工技術的成熟才使得集成成像技術重新得到人們的重視。但是,由于串擾、景深、視場角和分辨率等影響顯示效果,集成成像技術至今仍處于基礎研究階段[5-9]。相比之下,基于雙目視差技術的三維顯示技術發(fā)展較快,甚至有不少相關的三維顯示產(chǎn)品問世。該技術的基本原理是通過特殊的光學器件,如偏振眼鏡、狹縫光柵和柱面透鏡光柵等,使雙眼同時觀看到三維物體不同視角的圖像,經(jīng)過人腦的信息綜合,產(chǎn)生對三維圖像的感知[10]。雙目視差技術之所以能夠得到廣泛的應用,一方面是成像原理比較簡單,另一方面是因為相關的光學器件,特別是狹縫光柵和柱面透鏡光柵的制作工藝相當成熟,為該技術提供了硬件基礎,使之成為自由立體顯示的有效手段[11-12]。所謂自由立體顯示,就是不需要借助特殊的眼鏡或是頭盔,人眼能直接觀看三維立體圖像。因此,狹縫光柵和柱面透鏡光柵在現(xiàn)今的自由立體顯示技術的研究和應用中極受關注。
基于狹縫光柵的三維裸眼顯示原理和柱面透鏡光柵的原理基本相同,都是首先記錄三維場景不同視角的圖像(這些圖像之間存在一些微小的差異,即視差),然后將他們均勻分割后交替排列,合成一幅二維圖像,并通過顯示器(如投影儀、液晶顯示器等)進行顯示;最后,將狹縫光柵或者柱面透鏡光柵放置于屏幕前特定位置,人們選擇適當?shù)木嚯x就能觀看到三維圖像[13-14]。最初,人們只用兩個視角的圖像實現(xiàn)三維效果,如圖1所示。圖中顯示屏上白色部分代表了左眼視角的圖像,黑色部分代表了右眼視角的圖像。通過狹縫光柵的遮擋作用,兩個視角的圖像分別進入左眼和右眼,但這樣觀看時人眼的活動范圍受限,人眼只要稍微偏離觀看位置,就會影響觀看效果。后來,人們通過增加更多視角的圖像,將三維圖像的觀察區(qū)域劃分成更多的區(qū)域,使得在觀看時能夠擁有一定的自由度,并允許多人同時觀看三維圖像[15]。但這些也只是三維顯示的基本應用,在實際的三維顯示應用中,串擾、視場角等因素都會嚴重影響圖像的顯示效果。盡管人們已經(jīng)采取了許多方法來解決這些問題,如改變液晶顯示器的基本結構等,但這些方法都過于復雜,不利于推廣[16-17]。與其它復雜的手段相比,狹縫光柵和柱面透鏡光柵,特別是它們組合構成的新構型,在減小串擾、增強三維圖像可視度方面的應用顯得更加簡單、靈活,有實用價值。
圖1 光柵式自由立體顯示器原理和結構圖Fig.1 Principle and structure diagram of parallax barrier system
基于狹縫光柵和柱面透鏡光柵水平視差的三維顯示方案已經(jīng)比較成熟,能夠較好地顯示三維圖像,并且具有結構簡單、容易實現(xiàn)等特點。常見的系統(tǒng)如圖1所示,即將狹縫光柵或者柱面透鏡光柵直接和液晶顯示器組合。不難看出,由于二維顯示器同時顯示兩幅甚至更多視角的圖像,使得三維圖像的分辨率大幅下降,并存在較大的串擾,影響顯示效果。
因此,人們采用投影儀來替代液晶顯示器進行顯示[18]。這種投影系統(tǒng)通常包含多個投影儀,分別同時向銀幕投影不同視角的圖像,使得每個視角的圖像都能保持較高的分辨率。但是,在單狹縫光柵或者柱面透鏡系統(tǒng)的投影過程中,由于狹縫光柵和柱面透鏡的制作不可避免會存在偏差,同時投影儀和它們的位置匹配有很大的難度,投影圖像的邊緣容易出現(xiàn)像差,如邊緣模糊、畸變等,從而影響顯示效果。為此,人們通常采用雙狹縫或者雙柱面透鏡的結構[19],如圖2所示。圖中兩個狹縫光柵平行排列,狹縫光柵1的作用是控制投影儀輸出圖像的尺寸,使其邊緣更加平整、清晰,從而使投影到屏幕的圖像嚴格和狹縫光柵2匹配,這樣,通過狹縫光柵2的遮擋作用,就能觀看到較為理想的三維效果。這種系統(tǒng)在顯示三維圖像時,每個視角的圖像都能保持普通二維顯示器的分辨率,顯示屏幕尺寸能達到152.4 cm(60 in),并且能有效減小串擾。
圖2 雙狹縫三維顯示系統(tǒng)的原理和結構圖[19]Fig.2 Principle and structure diagram of double parallax barrier display system [19]
投影系統(tǒng)雖然能改善串擾和分辨率等問題,但是最基本的光柵配合液晶顯示器的系統(tǒng)由于結構簡單、造價低廉,仍是人們熱衷的三維顯示方案。為了克服串擾等問題,人們提出了一種“雙光柵”液晶三維顯示方案[20],其基本結構如圖3(a)所示。該系統(tǒng)包括一個液晶顯示器和兩個柵距不同的柱面透鏡光柵,兩個光柵中柱面透鏡的焦平面都在顯示器表面上,其中,柱面透鏡光柵1的柵距為液晶顯示器像素尺寸的1/3。圖3(b)、(c)分別表示傳統(tǒng)單光柵系統(tǒng)和雙柱面光柵系統(tǒng)對光線的控制作用。從圖中可以看出,在單光柵系統(tǒng)中,平行光經(jīng)過光柵后不會匯聚于一點,而是出現(xiàn)類似球差的光斑分布;而在雙光柵系統(tǒng)中,平行光能有效匯聚于一點,這樣,在三維顯示時,通過柱面透鏡的聚焦作用對顯示器發(fā)出的光進行控制,使其更集中地照明不同視角的圖像,減少大角度的光能損失,對顯示器中每個像素發(fā)出的光具有更好的引導作用。同時,通過實驗測量傳統(tǒng)單光柵系統(tǒng)和這種雙柱面透鏡光柵系統(tǒng)中各視角圖像的光強分布隨觀察距離變化情況,可以發(fā)現(xiàn)該系統(tǒng)具有更好的抗串擾效果。因此,這種雙光柵系統(tǒng)在更有效利用光能的同時,結合柱面光柵2的作用,能減小串擾并擴大三維圖像的可視范圍。
圖3 雙柱面透鏡光柵顯示系統(tǒng)[20]Fig.3 Two-layer lenticular lens display system [20]
眾所周知,在液晶顯示器中,每個像素都由紅、綠、藍(RGB)3個子像素構成。當柱面透鏡光柵豎直地和液晶顯示器配合時,一方面將產(chǎn)生莫爾條紋[21],另一方面會將RGB三基色分開,使顯示的圖像中充滿紅、綠、藍三色條紋,產(chǎn)生嚴重色彩混淆。為了克服柱面透鏡光柵和液晶顯示器貼合時產(chǎn)生的莫爾條紋和色彩混淆,將柱面透鏡光柵傾斜 18°左右[22,23],這里的柱面透鏡光柵 2 也不例外。這樣,通過簡單地將兩個不同柵距的柱面透鏡光柵順向疊加,就能明顯地增大三維圖像的顯示亮度,同時減小串擾,增大視場角。
圖4 后交疊柱面透鏡光柵顯示系統(tǒng)[24]Fig.4 Rear-cross-lenticular 3D display system [24]
為了克服液晶顯示器本身特性對三維顯示效果的影響,有人提出了一種“后交疊柱面透鏡光柵”三維顯示系統(tǒng)[24]。這種“后交疊柱面透鏡光柵”三維顯示系統(tǒng)通過設計新的圖像顯示方法,能有效避免莫爾條紋和色彩混淆的產(chǎn)生,基本結構如圖4所示。
該系統(tǒng)由背光平板、方格掩模板、兩塊柵距不同并正交疊加的柱面透鏡光柵以及液晶顯示器構成。由圖4(a)可以看出,不同視角的圖像不再像傳統(tǒng)方法中縱向間歇排列,而是變成橫向排列。方格掩模板的作用類似于狹縫光柵,白色部分透光而黑色部分不透光,具體原理如圖4(b)(以左眼為例)所示。它和縱向光柵一齊控制背光的走向,從而使左、右視角的圖像對應地進入人眼。而橫向光柵則起到聚光的作用,它的柵距和視角圖像的抽樣間隔相同,一方面通過柱面透鏡對光的匯聚作用,將背光集中地照明對應視角的圖像,從而提高背光的利用率,增大三維圖像的亮度;另一方面,文獻[24]通過光線追跡方法與傳統(tǒng)狹縫光柵系統(tǒng)對比,發(fā)現(xiàn)類似于雙柱面透鏡光柵液晶顯示系統(tǒng),橫向光柵還能有效減小串擾,并擴大三維圖像在豎直方向上的視場。該系統(tǒng)不同于傳統(tǒng)光柵式三維顯示器,它巧妙地利用了兩塊柱面透鏡光柵和方格掩模板的組合結構,提高了三維圖像的顯示效果。
由于狹縫光柵和柱面透鏡光柵只在單一方向上對光有約束作用,所以這種光柵式的三維顯示系統(tǒng)只能適應人眼的水平布局,提供水平方向的視差信息,這對于三維圖像的再現(xiàn)來說是不夠全面的。因此,要想再現(xiàn)出像全息圖一樣較全面的三維信息,光靠這種一維排布的光柵式結構并不可行。集成成像能夠記錄并再現(xiàn)各個方向的三維信息,其根本特點在于采用了微透鏡陣列這種在各個方向都能對光起約束、引導作用的器件。一方面,集成成像可以通過微透鏡陣列記錄三維場景,獲得一系列元素圖像,并通過微透鏡陣列直接再現(xiàn)三維圖像[25];另一方面,由于從微透鏡陣列記錄的元素圖像中可以提取出三維場景的不同視角的圖像,故可以對三維場景記錄N×N個視角的圖像,然后參照微透鏡記錄三維信息的方式,將不同視角的圖像重新編碼并合成一幅元素圖像集,最后用透鏡陣列顯示[26]。這樣一來,就可以觀看到任意方向的視差信息,即所謂全視差。但是,要制作出符合要求的透鏡陣列,特別是大面積的透鏡陣列,并保證其中每個透鏡的參數(shù)都基本一致,就目前的塑料、玻璃加工工藝水平而言,不僅造價高昂,而且有一定的難度。對此,人們提出了一些解決方法,即利用狹縫光柵和柱面透鏡光柵組合來替代微透鏡陣列,實現(xiàn)全視差的三維立體顯示。
圖5 狹縫光柵和柱面透鏡光柵疊加構成透鏡陣列[27]Fig.5 Micro-lens array based on parallax barrier and lenticular lens array[27]
對于狹縫光柵和柱面透鏡光柵而言,它們只能在一個方向上控制光線的走向。特別是柱面透鏡光柵,它在一個方向上具有透鏡的作用,而垂直方向只相當于平行平板。如果將兩種光柵相疊加,其交疊部分就能同時在水平和豎直方向上擁有透鏡的特性,對光線走向進行控制,從而構成一種新型的微透鏡陣列[27],能基本實現(xiàn)透鏡陣列的功能,如圖5(a)所示。通過匹配相關參數(shù),如柵距,柱面透鏡厚度、折射率和顯示器像素尺寸等之間的關系可以發(fā)現(xiàn),要想利用常規(guī)的柱面透鏡光柵和狹縫光柵疊加構成透鏡陣列,它們的柵距不能相同,且必須改變顯示器每個像素的尺寸。為此,通過設計使得狹縫光柵的柵距為柱面透鏡光柵的一半,同時將顯示器中水平排列的兩個原始像素構成一個“合成像素”,作為顯示器中最小顯示的單位,如圖5(b)所示,一個“透鏡”覆蓋了4個“合成像素”,由此,通過配合新的像素分布,利用疊加的微透鏡陣列就可以有效地顯示具有全視差信息的三維圖像,但狹縫光柵的引入不可避免地降低了顯示時圖像的亮度。
將兩塊相同的柱面透鏡光柵相向疊加,也能構成正方形孔徑的透鏡陣列[28]如圖6所示。這種方法已經(jīng)在很多文獻中被報道,并且有相關的實驗驗證了這種方法在全視差三維顯示中能有效替代微透鏡陣列,實現(xiàn)三維顯示功能。
圖6 柱面透鏡疊加構成透鏡陣列Fig.6 Cross-lenticular lens array
但是,和單光柵液晶顯示系統(tǒng)一樣,這種疊加的透鏡陣列在和液晶顯示器配合時也會出現(xiàn)莫爾條紋和色彩混淆。為此,可以將圖6(a)中的透鏡陣列旋轉一定角度(如45°)來避免莫爾條紋的出現(xiàn)。此外,也可以進行非正交疊加,即構成菱形或者平行四邊形的微透鏡[29],但這樣對應圖像的編碼、排列方式也要相應調(diào)整,以使合成圖像中的子圖像輪廓與疊加構成的透鏡孔徑一致。如圖6(b)所示,其中的小方格代表顯示器的像素分布。當柱面透鏡疊加時,每個疊加透鏡覆蓋的像素將是圖中粗線包圍的區(qū)域,因此在圖像編碼時應按照這種圖案進行設計。同時,莫爾條紋和色彩混淆的改善情況及柱面透鏡疊加的角度有關。相關研究表明,當疊加角度為20~30°時,顯示效果能得到明顯改善[30]。
此外,由于這種透鏡陣列是由柱面透鏡光柵疊加而成,每個“透鏡”邊緣結構復雜,成像性質(zhì)不理想,并且越靠近中心部分,其光學性質(zhì)越接近傳統(tǒng)透鏡。因此,在三維圖像顯示時,每個“透鏡”覆蓋的圖像經(jīng)過相鄰的“透鏡”必定不能理想“成像”,這一特性將在一定程度上減小串擾的產(chǎn)生,從而提高三維圖像的顯示效果。這樣,通過靈活改變柱面透鏡光柵的配合方法和對應的圖像編碼方式,就可以實現(xiàn)各種自由立體顯示。圖7為作者利用該方法再現(xiàn)的立體圖像,4幅圖分別為不同視角觀察的結果。從實驗結果可以看出,各個視角觀察到的圖像存在明顯的差異,如汽車與路障間的錯位變化等。由于這種新型透鏡的厚度與孔徑之比較大,屬于厚透鏡,其視場角較小,如實驗結果是由柵距為0.8 mm、厚度為3 mm的柱面透鏡光柵重現(xiàn)的,其有效視場角為20°左右,但在視場范圍內(nèi),重現(xiàn)的三維圖像輪廓清晰,并沒有出現(xiàn)串擾,這也驗證了其具有抗串擾作用。
圖7 柱面透鏡光柵疊加顯示立體圖像Fig.7 Reconstructed 3D images with cross-lenticular lens array
根據(jù)是否能夠顯示全視差信息,分兩方面介紹了狹縫光柵和柱面透鏡光柵在自由立體顯示技術中的重要應用。作為自由立體顯示的有效手段,這種光柵式的顯示技術發(fā)展成熟,具有重要的應用前景。此外,根據(jù)狹縫光柵和柱面透鏡光柵的特殊光學性質(zhì),通過在傳統(tǒng)的自由立體顯示系統(tǒng)中添加各種光柵的靈活組合式結構來提高立體顯示效果,如減小串擾、增大視場角、增大顯示亮度、消除莫爾條紋和提供更全面的三維信息等。在當今傳統(tǒng)透鏡陣列的制作存在一定困難的情況下,基于這兩種光柵的簡單疊加就可以構成大面積、參數(shù)均勻、價格低廉的新型透鏡陣列,亦可實現(xiàn)全視差自由立體顯示,這對于推進全視差自由立體顯示技術的發(fā)展具有重要意義。
[1]LEITH E N,UPATNIEKS J.Reconstructed wavefronts and communication theory[J].J.Opt.Soc.Am.,1962,52(10):1123-1130.
[2]MASAHIRO Y,HIROAKI S,TOSHIO H,et al..Automatic recording method for holographic three-dimensional animation[J].J.Opt.Soc.Am.,1992,A9(7):1200-1205.
[3]KETCHEL B P,HEID C A,WOOD G L,et al..Three-dimensional color holographic display[J].Appl.Opt.,1999,38(29):6159-6166.
[4]姜太平,沈春林,譚皓.真三維立體顯示技術[J].中國圖象圖形學報,2003,8(4):361-366.JIANG T P,SHEN CH L,TAN H.Overview of the true three-dimension volumetric display technologies[J].J.Image and Graphics,2003,8(4):361-366.(in Chinese)
[5]PARK J H,HONG K H,LEE B H.Recent progress in three-dimensional information processing based on integral imaging[J].Appl.Opt.,2009,48(34):H77-H94.
[6]FUMIO O,JUN A,MASAHIRO K.Wave optical analysis of integral method for three-dimensional images[J].Opt.Lett.,2007,32(4):364-366.
[7]LIAO H,TAKEYOSHI D,KEISUKE N.Autostereoscopic 3D display with long visualization depth using referential viewing area based integral photography[J].Visualization Computer Graphics,2010,17(11):1690-1701.
[8]PIAO Y.Cross-interference reduction using spatial mapping for integral imaging[C]//Computer Sci.Information Technol.(ICCSIT),2010 3rd IEEE International Conference on,July 9-11,2010,Chengdu,China,2010:212-216.
[9]CHOI H,PARK J,KIM J.Wide-viewing-angle 3D/2D convertible display system using two display devices and a lens array[J].Opt.Express,2005,13(21):8424-8432.
[10]SON J Y,JAVIDI B.Three-dimensional imaging methods based on multiview images[J].Display Technol.,2005,1(1):125-140.
[11]JOHNSON R B,JACOBSEN G A.Advances in lenticular lens arrays for visual display[J].SPIE,2005,5874:587401.
[12]周磊,陶宇虹,王瓊華,等.立體顯示用柱面透鏡光柵的設計[J].光子學報,2009,38(1):30-33.ZHOU L,TAO Y H,WANG Q H,et al..Design of lenticular lens in autostereoscopic display[J].Acta Photonica Sinica,2009,38(1):30-33.(in Chinese)
[13]SEXTON I.Parallax barrier display systems[C]//Stereoscopic Television IEEE Colloquium on,Oct 15,1992,London,UK,1992:5/1-5/5.
[14]PARK D H,KIM K G,LEE C H,et al..Lenticular stereoscopic imaging and displaying techniques with no special glasses[C].Proc.of IEEE International Conference on Image ProcessingICIP'95,Oct 23-26,1995,Washington,USA,1995,3:137-140.
[15]SON J Y,SAVELJEV V V,KIM J S,et al..Viewing zones in three-dimensional imaging systems based on lenticular,parallax-barrier,and microlens-array plates[J].Appl.Opt.,2004,43(26):4985-4992.
[16]CHEN C H,HUANG Y P,CHUANG S C,et al..Liquid crystal panel for high efficiency barrier type autostereoscopic three-dimensional displays[J].Appl.Opt.,2009,48(18):3446-3454.
[17]HIROTSUGU Y,MAKOTO K,SYUJI M,et al..Enlargement of viewing area of stereoscopic full-color led display by use of a parallax barrier[J].Appl.Opt.,2002,41(32):6907-6919.
[18]HARUO I,MINORU Y,DAISUKE T,et al..50-inch autostereoscopic full-color 3D TV display system[J].SPIE,1992,1669:176-185.
[19]TAO Y H,WANG Q H,GU J,et al..Autostereoscopic three-dimensional projector based on two parallax barriers[J].Opt.Lett.,2009,34(20):3220-3222.
[20]ZHAO W X,WANG Q H,WANG A H,et al..Autostereoscopic display based on two-layer lenticular lenses[J].Opt.Lett.,2010,35(24):4127-4129.
[21]朱燕林,陳瑞改,謝佳,等.光柵式自由立體顯示器中莫爾條紋的形成規(guī)律[J].液晶與顯示,2009,24(6):911-915.ZHU Y L,CHEN R G,XIE J,et al..Principle of Morié fringe in autostereoscopic display based on parallax barrier and lenticular lens[J].Chinese J.Liquid Crystals and Displays,2009,24(6):911-915.(in Chinese)
[22]WANG Q H,TAO Y H,LI D H,et al..3D autostereoscopic liquid crystal display based on lenticular lens[J].Chinese J.Electron Devices,2008,31(1):296-298.
[23]WANG Q H,LI X F,ZHOU L,et al..Cross-talk reduction by correcting the subpixel position in a multiview autostereoscopic three-dimensional display based on a lenticular sheet[J].Appl.Opt.,2011,50(7):B1-B5.
[24]HIDEKI M,HIROYASU N,NAOSATO T,et al..Rear-cross-lenticular 3D display without eyeglasses[J].SPIE,1998,3295:193-202.
[25]JUN A,F(xiàn)UMIO O,MASAHIRO K,et al..Integral three-dimensional television using a 33-megapixel imaging system[J].J.Display Technol.,2010,6(10):422-430.
[26]YUICHIT,TAKAFUMI K,KEITA T,et al..TransCAIP:A live 3 D TV system using a camera array and an integral photography display with interactive control of viewing parameters[J].IEEE T.Vis.Comput.Gr.,2009,15(5):841-852.
[27]WANG Q H,DENG H,JIAO T T,et al..Imitating micro-lens array for integral imaging[J].Chinese Opt.Lett.,2010,8(5):512-514.
[28]KIM S S,SON K H,SAVELJEV V V,et al..Printed 3D multi-view images[J].J.Opt.Society Korea,2001,5(1):29-31.
[29]SON J Y,SAVELJEV V V,KWACK K D,et al..Characteristics of pixel arrangements in various rhombuses for full-parallax three-dimensional image generation[J].Appl.Opt.,2006,45(12):2689-2696.
[30]SON J Y,SAVELJEV V V,JAVID B,et al..A method of building pixel cells with an arbitrary vertex angle[J].Opt.Eng.,2005,44(2):024003.