孫玉楷，牛萍娟，郭云雷，劉 雷，羅德智

(1.天津工業(yè)大學(xué)電子與信息工程學(xué)院，天津 300387；2.天津工業(yè)大學(xué)電氣工程與自動化學(xué)院，天津 300387)

引言

近年來，顯示技術(shù)由黑白到彩色，由模擬到數(shù)字，由普通清晰度到高清晰度，每次發(fā)展都提高人類的視覺感受。隨著現(xiàn)代電視相關(guān)技術(shù)的不斷發(fā)展，現(xiàn)在的電視節(jié)目制作在表現(xiàn)形式、制作方式、舞美設(shè)計(jì)等方面發(fā)現(xiàn)了很大的變化[1]?？陀^世界在空間以三維狀態(tài)存在，深度是第三維信息。三維顯示提供了三維場景的深度感知，幫助人類獲取豐富信息，增加虛擬體驗(yàn)，三維顯示技術(shù)逐漸成為研究應(yīng)用熱點(diǎn)。傳統(tǒng)的平面顯示裝置，例如陰極射線管顯示器、液晶顯示器或等離子顯示器，由于缺乏深度信息使高分辨率的數(shù)據(jù)或圖像變得模糊混亂[2]。平板顯示器和透鏡陣列的組合替代投影機(jī)陣列以及背投式反射光路的運(yùn)用，在很大程度上優(yōu)化了系統(tǒng)結(jié)構(gòu)、減少了系硬件占用空間的同時降低了開發(fā)經(jīng)濟(jì)成本[3]。Lippmann[4]于1908年提出集成成像，發(fā)現(xiàn)柱透鏡陣列或微透鏡陣列通過圖像技術(shù)可以記錄和重新構(gòu)建光場。在1948年，Gobar[5]發(fā)明全息術(shù)，使用光線的波前來記錄與重建光場。全息術(shù)應(yīng)用于三維顯示的缺點(diǎn)是需要激光才可以重建光場，而Denisyuk[6]改進(jìn)全息術(shù)以布拉格衍射不僅對方向有選擇性而且對波長有選擇性為基礎(chǔ)使用白光進(jìn)行光場的重建。隨著電子技術(shù)與計(jì)算機(jī)技術(shù)的革命性的快速發(fā)展，光場顯示技術(shù)受到巨大的影響。集成成像利用微透鏡陣列對三維場景進(jìn)行記錄，并通過相同參數(shù)的微透鏡陣列再現(xiàn)出三維圖像。根據(jù)光路可逆原理再現(xiàn)出的三維圖像與原三維場景具有相同的色彩、深度等信息[7]。需要說明的是計(jì)算光場顯示不同于集成成像，集成成像使用微透鏡陣列或柱透鏡陣列對三維場景進(jìn)行采集，只可對客觀存在物體進(jìn)行記錄，而本文提出的基于正交投影的計(jì)算光場顯示，借鑒計(jì)算全息的設(shè)計(jì)理念，使用光線追跡原理渲染三維虛擬場景；并使用正交投影方式對三維場景進(jìn)行采樣；通過分析集成成像顯示的成像振幅分布規(guī)律，抽樣重組出元素圖像陣列用于三維顯示。

1 原理

幾何光學(xué)把光源或物體看作是由許多幾何點(diǎn)組成，并把由幾何點(diǎn)發(fā)出的光抽象成幾何線一樣的光線，隨著光線的傳播，對于每個采樣點(diǎn)可建立一個傳播過程，只要追跡經(jīng)過光學(xué)系統(tǒng)的光線傳播，即可得到物像關(guān)系，是一種對光線采樣的過程[8-9]。

1.1 光線追跡算法

光線追跡算法是生成真實(shí)感圖像的主要算法之一，主要思想是追蹤穿過畫面的光線觀察物體之間相互作用，模擬光線在環(huán)境中的傳播。在自然世界中，光線從光源出發(fā)照射到物體上，被物體反射或穿過，反射光線到達(dá)人眼或照相機(jī)的鏡頭。而光線追跡算法是逆著光線的方向進(jìn)行計(jì)算的，它從模擬的照相機(jī)出發(fā)，反向追蹤光線到場景中，建立場景的圖像，如圖1所示。

圖1 光線追跡算法流程圖Fig.1 Ray tracing algorithm flow chart

1.2 光場

一個物體發(fā)出的無間斷分布的輻射，可以被全光函數(shù)完整的表達(dá)，全光函數(shù)是一個七維函數(shù)，完整地描述了波長為λ，時刻t一條光線的輻射為

P=P(x,y,z,θ,φ,λ,t)

(1)

式中x,y,z,θ,φ描述了入射到點(diǎn)(x,y,z)、方向?yàn)?θ,φ) 的光線。假設(shè)全光函數(shù)是統(tǒng)計(jì)的不隨時間與輻射改變的一條光線，光場可以用一個自由空間光線投射到輻射的四維函數(shù)表示為

L=L(u,v,s,t)

(2)

在式(2)中，輸入一個坐標(biāo)表示自由空間光線，則輸出一個三成分RGB矢量輻射亮度。

傳統(tǒng)集成成像顯示方式是一種對稱的光學(xué)系統(tǒng)，其記錄階段和顯示階段所使用的透鏡陣列各個參數(shù)完全相同，在CCD前方添加成像透鏡，使透鏡陣列形成的元素圖像陣列的尺寸與圖像傳感元件的尺寸相匹配。CCD可以在較大面積上非常有效、均勻地收集和轉(zhuǎn)移所產(chǎn)生的電荷并低噪聲地測量[10]。在顯示階段的像空間集成與原三維物體形貌相同的三維再現(xiàn)像，由于整個系統(tǒng)使用相同參數(shù)透鏡陣列，記錄得到的元素圖像陣列可直接用于顯示階段。記錄階段是通過記錄透鏡陣列對物空間場景成像，獲取物空間場景不同的分布，形成元素圖像陣列。顯示階段是把元素圖像陣列放在具有相同參數(shù)的透鏡陣列物空間的相應(yīng)位置處，根據(jù)光路可逆原理，光線通過透鏡陣列重建出物空間場景，可在一個有限的視角從的任意方向觀看[11]。

在傳統(tǒng)集成成像顯示中由于透鏡陣列和光學(xué)圖像傳感元件制作過程存在缺陷，透鏡陣列的尺寸也會導(dǎo)致衍射效應(yīng)。沒有考慮到環(huán)境光的影響，工作面上的照明環(huán)境是由環(huán)境光與屏幕共同組成的，當(dāng)環(huán)境光在工作面上產(chǎn)生的照度較高，其色溫與目標(biāo)色溫差距較大[12]。本文傳統(tǒng)集成成像顯示的基礎(chǔ)上進(jìn)一步提出正交投影計(jì)算光場顯示。三維場景被抽象后的光線通過軸向子午線不會出現(xiàn)聚散度的改變，但通過屈光力子午線會出現(xiàn)聚散度的改變。

通過分析采集到的元素圖像陣列振幅信息與柱透鏡的成像光路可通過計(jì)算機(jī)生成用于計(jì)算光場顯示的元素圖像陣列。傳統(tǒng)集成成像顯示中三維場景被前端采集裝置所采集并被顯示裝置重建顯示時，三維場景之間的深度關(guān)系是反轉(zhuǎn)的。本文消除深度反轉(zhuǎn)影響的程序流程圖如圖2所示。

圖2 消除深度反轉(zhuǎn)流程圖Fig.2 Eliminate the depth inversion flow chart

2 消除串?dāng)_

為了消除顯示過程中的串?dāng)_，本文采用正交投影的方式采集構(gòu)成元素圖像陣列的單元圖像。透視投影是從某個投射中心將物體投射到單一投影面上所得到的圖形，正交投影相當(dāng)于沿CCD光軸的方向?qū)⑷S場景直接投影到圖形平面，正交投影可以表示景物的真正尺度，如圖3所示。

圖3 正交投影示意圖Fig.3 Orthogonal projection schematic diagram

被采集的單元圖像由于角度的不同，每個角度的光強(qiáng)會有所差異，不同的單元圖像經(jīng)過抽樣重組后會在邊緣處存在跳變?？紤]到元素圖像陣列的每個像素記錄著光場的方向與強(qiáng)度，本文使用加權(quán)平均的方法對元素圖像陣列進(jìn)行線性平滑濾波，消除銳化效果[13]。

利用光線追跡原理生成單元圖像與經(jīng)過特殊變換的元素圖像陣列，是通過編碼形式記錄光場的方向與強(qiáng)度，是在計(jì)算機(jī)里通過數(shù)字方法合成的。元圖像陣列的排布位置反應(yīng)了光場中光線的方向，在排布位置對應(yīng)的亮度振幅分布反應(yīng)其強(qiáng)度信息。計(jì)算光場顯示過程與全光學(xué)成像顯示過程相同，通過光學(xué)手段得到三維再現(xiàn)像。計(jì)算光場顯示具有在記錄和再現(xiàn)時無需相干光源、三維圖像全真色彩、觀看三維圖像時不存在眼睛會聚與調(diào)節(jié)不匹配的問題的優(yōu)點(diǎn)，其顯示示意如圖4所示。

圖4 顯示示意圖Fig.4 Display schematic diagram

3 實(shí)驗(yàn)結(jié)果與討論

本文通過使用POV-RAY三維軟件基于光線追跡原理渲染出三維場景，并利用正交投影方式對三維場景進(jìn)行采樣，生成用于消除串?dāng)_的單元圖像，樣機(jī)系統(tǒng)主要由一個柱透鏡陣列、4 K顯示屏構(gòu)成，采用實(shí)驗(yàn)裝置數(shù)據(jù)信息如表1所示。

表1 實(shí)驗(yàn)裝置數(shù)據(jù)信息

在顯微鏡下對柱透鏡陣列進(jìn)行檢測，發(fā)現(xiàn)無損壞且間距直徑均勻可用于實(shí)驗(yàn)，檢測效果如圖5所示。

將實(shí)驗(yàn)系統(tǒng)安裝調(diào)試完成，上載元素圖像陣列，并在最大可視角邊界處進(jìn)行采樣，效果如圖6所示。

對顯示效果進(jìn)行串?dāng)_與圖像光強(qiáng)歸一化檢測，分析曲線如圖7所示(圖中X為分辨率，H為光通量)。

圖5 柱透鏡陣列Fig.5 Column lens array

圖6 光場顯示效果Fig.6 Light field display effect

根據(jù)圖7曲線，分析如下：中間區(qū)域較為平滑，串?dāng)_與光強(qiáng)歸一化效果明顯，與之比較的是未被柱透鏡陣列覆蓋的區(qū)域，光線方向與強(qiáng)度抖動區(qū)間大，不適合觀看。因此，本文所設(shè)計(jì)的基于正交投影的計(jì)算光場顯示消除了串?dāng)_，可以較好地展現(xiàn)三維場景的遮擋與深度信息，適合觀察者長期觀看。

圖7 檢測曲線Fig.7 Testing curve

4 結(jié)論

傳統(tǒng)集成成像記錄階段和顯示階段所使用的柱透鏡陣列各個參數(shù)完全相同，兩個階段是物像關(guān)系互換的過程存在深度反轉(zhuǎn)問題，倒置物體間的遮擋關(guān)系，在前端采集光場過程由于柱透鏡衍射和裝置的限制，對成像效果造成影響。本文提出的基于正交投影的計(jì)算光場顯示系統(tǒng)利用光線追跡方法渲染三維場景，并使用正交投影方式采集單元圖像用于消除串?dāng)_，光強(qiáng)歸一化算法處理更使觀看效果大大提升。計(jì)算光場顯示在借鑒計(jì)算全息處理方法的基礎(chǔ)上進(jìn)行創(chuàng)新，通過計(jì)算模擬記錄光場方向與強(qiáng)度，正確反映物體之間深度關(guān)系，消除深度反轉(zhuǎn)?？臻g分辨率損失問題依然是限制計(jì)算光場的一個問題，是我們下一步的工作重點(diǎn)。

[1] 譚磊. 淺談大中型綜藝演播室燈光系統(tǒng)的設(shè)計(jì)[J]. 照明工程學(xué)報(bào),2017,28(3):36-40.

[2] 劉旭, 李海峰.現(xiàn)代投影顯示技術(shù)[M].杭州：浙江大學(xué)出版社,2009.

[3] PENG Y F,LI H F,LIU X,et al. A full-parallax Compact Three Dimensional Display System Based on Spliced View field[J]. Acta Photonica Sinica, 2011, 40(9):1405-1408.

[4] LIPPMANN G.La Photographie Intégrale[M]. 1908.

[5] GABOR D. A new microscopic principle[J]. Nature, 1948.161(4098): 777.

[6] DENISYUK YN. On the reflection of optical properties of an object in a wave field of light scattered by it[J]. Doklady Akademii Nauk SSSR, 1962，144(6): 1275-1278.

[7] DENG H,LI S L,WU F, et al. Toed-in integral imaging with enhanced 3D viewing angle[J]. Optics and Precision Engineering, 2014, 22(1):1-6.

[8] 徐汝彪, 劉慎權(quán). 光線追蹤技術(shù)綜述[J]. 計(jì)算機(jī)研究與發(fā)展, 1990(5):19-27.

[9] ORTIZ S, SIEDLECKI D, REMON L, et al. Three-dimensional ray tracing on Delaunay-based reconstructed surfaces.[J]. 2009, 48(20):3886-3893.

[10] 宋敏,鄶新凱,鄭亞茹. CCD與CMOS圖像傳感器探測性能比較[J]. 半導(dǎo)體光電,2005(1):5-9.

[11] JIAO X X. Study of Optical Pick-up System on Integral Imaging Three Dimensional DisplayTechnology[D]. Tianjin:Nankai University,2012.

[12] 陳鏡羽,葛愛明. 照度及色溫自適應(yīng)調(diào)節(jié)的LED臺燈設(shè)計(jì)[J]. 照明工程學(xué)報(bào),2017,28(3):70-74.

[13] 徐晶. 基于微透鏡陣列的集成成像和光場成像研究[D]. 合肥：中國科學(xué)技術(shù)大學(xué), 2011.