楊翠妮，李姣姣，郭兆達，鄧 歡

（四川大學(xué) 電子信息學(xué)院，四川 成都 610065）

1 引 言

集成成像技術(shù)是目前最熱門的裸眼真三維顯示技術(shù)之一，它避免了立體視疲勞問題，可以實現(xiàn)全視差、連續(xù)視點的真三維立體成像且無需佩戴眼鏡等輔助設(shè)備［1-6］。集成成像可以分為記錄和再現(xiàn)兩個過程。在記錄過程中，3D 信息被透鏡陣列采集，并被編碼為微圖像陣列；在再現(xiàn)過程中，3D 信息從微圖像陣列解碼，并重建3D圖像。微圖像陣列包含3D 圖像的位置和角度信息，以產(chǎn)生正確的深度線索，緩解輻輳調(diào)節(jié)沖突。

自1908 年首次提出集成成像技術(shù)以來［7］，已經(jīng)出現(xiàn)了多種生成微圖像陣列的方法，計算機生成集成成像技術(shù)引起了人們的關(guān)注［8-10］。Halle 提出了一種多視圖渲染算法，該算法從多個角度渲染靜態(tài)場景，并且來自同一視點的每組光線都使用透視投影模型進行渲染［11-12］。Jung 和Koch 提出了一種基于圖像渲染和深度補償插值的光場圖像高效渲染方法［13］。Deng 等人介紹了一種稀疏相機陣列生成微圖像陣列的方法，可以將其視為兩步微圖像陣列生成［14-15］。Ji 等人專注于傾斜的微圖像陣列生成方法，以減少摩爾紋的影響［16］。Li 等人引入一種多正字視錐體組合的實時計算機生成集成成像方法，充分利用了圖形處理單元的可編程性來提高計算效率［17］。Sang 等人提出了一種基于逆向光線追蹤的高效計算機生成方法，可以認(rèn)為這是實時和交互式計算機生成集成成像的一種有效途徑［18］。為了在交互基礎(chǔ)上生成高質(zhì)量的3D 圖像，Sang 等人還提出了一種基于路徑追蹤蒙特卡羅方法和遞歸卷積神經(jīng)網(wǎng)絡(luò)的微圖像陣列生成方法［19］。在計算機集成成像微圖像陣列生成過程中，設(shè)置的相機陣列參數(shù)需與3D 物體尺寸以及系統(tǒng)景深相匹配，因此針對于不同的3D 顯示系統(tǒng)參數(shù)，需要重新生成對應(yīng)的微圖像陣列，勢必會增加圖像生成的復(fù)雜度。

本文分析了集成成像技術(shù)中3D 像點重建深度與同名點視差的內(nèi)在聯(lián)系，結(jié)合圖像元節(jié)距與同名點視差以及3D 深度的關(guān)聯(lián)關(guān)系，提出了一種基于圖像元縮放變換的不同重建深度微圖像陣列生成方法。對于不同的顯示系統(tǒng)，無需對目標(biāo)三維場景進行重新采集，通過簡單的圖像元節(jié)距調(diào)整，等效改變同名點像素的視差值，從而改變了光場的采樣間隔，使得新節(jié)距下的微圖像陣列可適配不同景深的集成成像顯示系統(tǒng)，提升了微圖像陣列的實用性。

2 集成成像立體深度與同名點關(guān)系

在集成成像記錄過程中，3D 場景中某一物點被多個透鏡元記錄在其覆蓋的圖像元中形成同名點，所有透鏡元記錄的圖像組成了微圖像陣列。在集成成像再現(xiàn)時，同名點間的視差值反應(yīng)了3D 物點的深度信息，如圖1 所示，3D 像點的重建深度l與微圖像陣列中同名點視差T、顯示面板到透鏡陣列的距離g及透鏡陣列中透鏡元節(jié)距plens有關(guān)。它們之間滿足：

圖1 集成成像顯示過程中3D 像點與同名點視差的關(guān)系Fig.1 Relationship between 3D image point and parallax of homonymous points in integral imaging display

當(dāng)系統(tǒng)參數(shù)一定時（以g=13.2 mm、plens=14.7 mm 為例），3D 像點的重建深度隨同名點視差的變化曲線如圖2 所示。

圖2 3D 像點的重建深度隨同名點視差的變化曲線圖Fig.2 Variation curve of reconstruction depth of 3D image point with parallax of homonymous points

由圖2 和公式（1）可知：以顯示方向為正方向，當(dāng)T＞plens時，l＞0，即重建的3D 圖像具有正的深度值，浮出屏幕。如圖3（a）所示，“蘋果”和“青檸”上的兩個像點所對應(yīng)的同名點視差均大于透鏡元節(jié)距，因此兩者均凸出屏幕顯示。當(dāng)T=plens時，l趨向于無窮，通常不會出現(xiàn)此類3D 圖像。當(dāng)T ＜plens時，l＜0，即重建的3D 圖像具有負(fù)的深度值，凹進屏幕里面，如圖3（b）所示，“蘋果”和“青檸”上的兩個像點所對應(yīng)的同名點視差均小于透鏡元節(jié)距，因此兩者均凹進屏幕顯示。

圖3 3D 像點重建深度與同名點視差的關(guān)系Fig.3 Relationship between reconstruction depth of image point and parallax of homonymous points

3 不同深度的微圖像陣列生成

根據(jù)以上分析容易發(fā)現(xiàn)，在系統(tǒng)參數(shù)（plens，g）一定時，3D 像點的重建深度與同名點視差具有非線性的負(fù)相關(guān)關(guān)系，可以通過改變同名點視差值反過來改變3D 像點的重建深度。然而集成成像顯示系統(tǒng)具有有限的景深，當(dāng)超出系統(tǒng)可以承載的景深范圍時，重構(gòu)的3D 像點會彌散得模糊不清。因此在視差調(diào)節(jié)時，還需要考慮到3D像點重建深度范圍。如圖4 所示，根據(jù)集成成像顯示系統(tǒng)3D 景深范圍的限定，確定可接受的最大及最小的3D 像點重建深度分別為：

圖4 同名點視差的變化范圍Fig.4 Variation range of parallax of homonymous points

式中，l0為透鏡陣列到中心深度平面的距離，可由高斯成像公式推導(dǎo)，具體為l0=ΔZ為顯示系統(tǒng)的景深。結(jié)合公式（1），推導(dǎo)出可清晰顯示3D 圖像的同名點視差的最小及最大值分別為：

基于上述分析，本文提出了一種基于圖像元縮放變換的不同重建深度微圖像陣列生成方法以適配不同景深范圍的集成成像顯示系統(tǒng)。由于同名點視差與圖像元節(jié)距具有正相關(guān)關(guān)系，可以對圖像元進行縮放變換得到新的同名點視差T'：

其中，η為圖像元縮放比例并由公式（1）得出新的重建深度l'：

考慮實際透鏡和像素配置時深度為離散值，在對圖像元進行縮放變換時，ηT需對應(yīng)像素尺寸的整數(shù)倍，因此公式（5）的離散表達式為：

其中：［*］表示四舍五入取整，px表示顯示面板像素尺寸的大小。

根據(jù)公式（1）和（5），我們得出原有深度l和新的深度l'的函數(shù)關(guān)系：

3D 像點重建深度隨圖像元縮放比例的增大而減小，如圖5 所示。以g=13.2 mm、plens=14.7 mm為例，在圖5（a）中，圖像元縮放比例η=1，紅色的同名點發(fā)出的光線經(jīng)透鏡陣列調(diào)制后，在空間中會聚形成3D 像點，重建深度為l。在圖5（b）中，圖像元縮放比例η=1.12，3D 像點的重建深度l'減小為0.4l。在圖5（c）中，圖像元縮放比例η=0.95，3D 像點的重建深度l'增大為2.5l。

圖5 不同圖像元縮放比例的3D 像點重建深度Fig.5 3D image reconstruction by elemental image array with different scalings

雖然圖像元縮放比例η的變化值很小，但重建深度的變化卻很大，如圖5 所示，其沿透鏡光軸方向的軸向放大率α為：

軸向放大率α與原有圖像深度l、g及圖像元縮放比例η有關(guān)，而原有圖像深度l限制在系統(tǒng)景深范圍之內(nèi)，（η-1）l的變化值較小，可以用中心深度平面處的軸向放大率近似為整個3D 圖像的軸向放大率，因此軸向放大率α可近似為：

3D 圖像垂直于透鏡光軸方向的垂軸放大率為β：

由公式（10）可知，當(dāng)η≠1 時，3D 圖像的軸向放大率和垂軸放大率不同，存在一定程度的壓縮或拉伸。然而，在對3D 圖像進行深度變換時，η的值接近1，變化范圍在5%左右，其軸向放大率α與垂軸放大率β近似相等，可看作是角大小不變的深度變換，不會產(chǎn)生明顯的3D 圖像畸變。

在如圖6 所示的集成成像顯示系統(tǒng)中，將微圖像陣列A 通過圖像元縮放變換獲取兩張新的微圖像陣列，分別為微圖像陣列B 和C，當(dāng)微圖像陣列A、B、C 分別在顯示面板上顯示時，無需進行系統(tǒng)器件參數(shù)的調(diào)節(jié)，便可以顯示出不同重建深度的3D 圖像。

圖6 顯示系統(tǒng)的結(jié)構(gòu)及原理示意圖Fig.6 Structure and principle diagram of the display system

4 實驗驗證

我們利用3Ds Max 軟件搭建了3D 場景及拍攝相機陣列，如圖7 所示。所拍攝的3D 場景由字符“3”和字符“D”組成。搭建了虛擬相機陣列進行光場信息的獲取，將中心深度平面設(shè)置在距離拍攝相機陣列145 mm 的深度位置。字符“3”和字符“D”分別在中心深度平面前、后2 mm 處。

圖7 3D 拍攝示意圖Fig.7 3D shooting diagram

獲取的微圖像陣列A 如圖8（a）所示，圖像元縮放比例η=1。利用本文所提出的方法，得到縮放比例η=1.01 的微圖像陣列B 和η=0.99 的微圖像陣列C，分別如圖8（b）和圖8（c）所示。

圖8 微圖像陣列Fig.8 Generated elemental image arrays

為了驗證本文所提方法的正確性，選擇基于深度的計算機再現(xiàn)方式進行3D 再現(xiàn)，實驗參數(shù)如表1 所示。利用獲取的3 張微圖像陣列分別進行了基于深度的計算機集成成像再現(xiàn)實驗，重建的3D 圖像如圖9所示。圖9（a）所示為η=1的微圖像陣列A 重建的3D 圖像，在143～147 mm 深度范圍內(nèi)，如圖中紅色方框所示，字符“3”在147 mm的深度上清晰再現(xiàn)，字符“D”則在143 mm 的深度上清晰再現(xiàn)。圖9（b）所示為η=1.01 的微圖像陣列B 重建的3D 圖像，字符“3”與字符“D”分別在深度130 mm 和127 mm 處清晰再現(xiàn)，說明通過圖像元節(jié)距的增大可以實現(xiàn)3D 圖像深度的縮小，且具體深度值的變化符合理論公式（5）的推導(dǎo)。圖9（c）所示為η=0.99的微圖像陣列C重建的3D 圖像，字符“3”與字符“D”分別在深度167 mm 和162 mm 處清晰再現(xiàn)，說明通過圖像元節(jié)距的縮小可以實現(xiàn)3D 圖像深度的增大，且具體深度值的變化符合理論公式（5）的推導(dǎo)。根據(jù)實驗結(jié)果分析可得：當(dāng)圖像元做放大變換后，3D 圖像的重建深度減?。划?dāng)圖像元做縮小變換后，3D 圖像的重建深度增大。該實驗結(jié)果驗證了本文所提出方法的正確性及可行性，即通過圖像元縮放變換可以實現(xiàn)不同重建深度的3D 圖像重建。

表1 基于深度的計算機集成成像再現(xiàn)實驗的參數(shù)列表Tab.1 Parameter list of the depth-based computer integral imaging reconstruction

圖9 重建的3D 圖像Fig.9 Reconstructed 3D image

5 結(jié) 論

本文分析了集成成像技術(shù)中3D 像點重建深度與同名點視差的內(nèi)在聯(lián)系，提出一種基于圖像元縮放變換的不同重建深度微圖像陣列生成方法。該方法針對不同景深范圍的集成成像顯示系統(tǒng)，無需重新進行集成成像拍攝，僅通過對微圖像陣列進行簡單的節(jié)距變換處理就可以改變重建3D 圖像的深度，使微圖像陣列可以與不同景深的顯示系統(tǒng)相適配，增加了微圖像陣列的實用性。通過基于深度的計算機再現(xiàn)實驗證實了3 個不同重建深度范圍的3D 圖像重建，驗證了所提方法和理論推導(dǎo)的正確性。本方法可以在一次集成成像拍攝的情況下，實現(xiàn)不同深度的3D 圖像再現(xiàn)以適配顯示系統(tǒng)的3D 景深，最大化發(fā)揮系統(tǒng)景深性能。