何燕成，李 暉，3*，錢文彤，吳云韜

（1.武漢工程大學 計算機科學與工程學院，湖北 武漢 430205；2.智能機器人湖北省重點實驗室，湖北 武漢 430205；3.華中科技大學 化學與化工學院，湖北 武漢 400074；4.武漢工程大學 郵電與信息工程學院，湖北 武漢 430205）

1 引言

與傳統(tǒng)成像方法相比，光場相機［1-2］可以獲得多維信息和多視角圖。傳統(tǒng)光場相機的視角圖取決于微透鏡陣列中子透鏡的數(shù)目，但是子透鏡數(shù)目往往遠遠小于CCD 像元數(shù)目，相當于對數(shù)量巨大的CCD 像元數(shù)目進行了幾十倍的壓縮，難以平衡角分辨率與空間分辨率。這會導致成像器件的空間帶寬積［3］（Spatial Bandwidth Product，SBP）問題，成像質(zhì)量較低。

為解決光場成像空間分辨率偏低的問題，梁欣等［4］采用穩(wěn)健的正則化超分辨率算法，通過操作將低像素點映射到高分辨率的網(wǎng)格中，從而實現(xiàn)圖像空間分辨率的提升。鄧承志等［5］提出基于近似稀疏表示模型的圖像超分辨率重建方法，通過高分辨字典與圖像稀疏表示，重建得到高分辨率圖像。上述方法均采用超分辨率的算法思想提升圖像的空間分辨率，但是此類方法需要準確計算出圖像位移矩陣與精確的圖像配準，圖像位移矩陣和圖像配準直接影響光場圖像重建的結(jié)果。在智能計算風靡之時，人們將深度學習逐步應用 到圖像處理中。Meng 等［6］建立 了基于4 維卷積的兩階段恢復的學習框架，通過網(wǎng)絡模型學習捕獲多個相鄰視圖中的幾何信息特性，然后進行張量恢復。蔡體健等［7］提出一種通道注意力與殘差級聯(lián)超分辨率重構(gòu)網(wǎng)絡，對提取到的特征信息進行訓練，完成圖像的超分辨率重建。此類方法需要海量的高分辨率圖像進行訓練，時間代價大且消耗資源多。當前超分辨算法往往只能針對已獲得的光場圖像數(shù)據(jù)進行計算，不能同時兼顧圖像的空間分辨率與質(zhì)量。為了直接獲取高分辨率光場圖像，斯坦福大學采用相機陣列［8］采集四維信息，但是這種方法成本高，且需要對每個相機進行標定，實現(xiàn)起來較為困難。Lu 等［9］通過使用標準相機的高分辨率圖像與Shack-Hartmann 傳感器的低分辨率波前測量相結(jié)合重建高分辨率光場圖像。Xu 等［10］提出使用兩個衰減掩膜來捕獲更高分辨率的光場采集系統(tǒng)，在傅里葉域中采用多路復用方法計算出光譜圖像數(shù)據(jù)。但是該系統(tǒng)中光路上的掩膜頻率響應容易被傳感器數(shù)目影響且需要保證掩膜編碼中不能出現(xiàn)負值。

隨著成像元件的不斷更新，液晶因其獨特的電光特性逐步地應用于光場成像。雷宇等［11］設計的電控液晶微透鏡陣列，通過控制電壓可實現(xiàn)普通2D 圖像的獲取和3D 光場數(shù)據(jù)的采集。但是此類方法無法準確控制液晶折射率形成平滑的梯度折射率分布，即存在一定程度的像差，使其成像質(zhì)量及應用范圍受限?；谝壕У纳⑸涑上瘢?2-13］一直是計算成像領域的前沿和發(fā)展重點。散射介質(zhì)成像技術(shù)包括基于反饋的波前整形［14-15］，數(shù)字全息［16-17］和斑點相關(guān)［18-19］。早期的透過散射介質(zhì)成像，是規(guī)避散射光或者減弱散射的影響；現(xiàn)階段的透過散射介質(zhì)成像，則是利用散射光對成像質(zhì)量進行提升。

針對光場圖像空間分辨率偏低的問題，本文設計了一種液晶擴散片，并與微透鏡陣列組成新型光場成像系統(tǒng)。利用液晶擴散片透過率的電控特性來獲取不同電壓下的光場信息，同時結(jié)合適配液晶擴散片的成像算法，獲得了高分辨率的光場圖像。

2 原理及器件制備

2.1 液晶擴散片的制作流程

液晶擴散片由兩個玻璃襯底（厚度約為1 mm）組成，采用銦錫氧化物（ITO，厚度約為300 nm）作為頂部和底部的導電層。選擇20 μm的間隔微球制備出空液晶腔。然后，將液晶擴散片的頂部導電層采用光控取向技術(shù)進行水平定向，制備可以誘導液晶分子定向的取向?qū)?。光控取向技術(shù)可以克服傳統(tǒng)摩擦取向所產(chǎn)生的微小雜質(zhì)、絨毛以及靜電等缺陷，也可以減少對器件造成物理性損傷，提升液晶的取向效果。該技術(shù)［20-21］是一種新興的液晶取向技術(shù)，包括了光交聯(lián)、光降解和光致順反異構(gòu)等。制備采用的是光致順反異構(gòu)技術(shù)，實現(xiàn)了液晶分子的水平定向，如圖1 所示。利用毛細效應將大雙折射液晶灌入制備的液晶腔內(nèi)，其中液晶（型號JC-M-LCLDn03，南京寧萃光學科技有限公司）在室溫條件下的主要參數(shù)為：Δn=0.394，Δε=1.8，ne=1.980 8，no=1.513。最后，利用AB 膠封口，完成液晶擴散片的制備。

圖1 偶氮苯分子光控取向液晶的示意圖Fig.1 Schematic diagram of azobenzene molecules lightcontrolled orientation liquid crystal

通過上述過程制備的液晶擴散片，其透過率的工作機理如圖2 所示。由于液晶分子各向異性和雙折射等性質(zhì)，加載電壓信號時，液晶分子會沿其所處位置向電場方向發(fā)生偏轉(zhuǎn)。在電壓關(guān)斷的條件下，液晶擴散片中液晶分子指向矢的方向平行于液晶擴散片取向?qū)拥姆较?。液晶分子的有效折射率為neff=，此時液晶擴散片的透過率最低，透過光線中包含了目標場景光場的散射光強信息。在電壓開啟的條件下，隨著電壓的動態(tài)調(diào)控，液晶分子會沿電場方向重新取向，液晶擴散片的透過率逐步提高，目標場景的細節(jié)信息也逐漸豐富。

圖2 液晶擴散片透過率工作機理Fig.2 Schematic diagram of working mechanism of liquid crystal diffuser

2.2 基于液晶擴散片的高分辨率光場成像原理

在光場成像中，通常采用雙平面參數(shù)模型［22］對光場進行表征，成像探測器接收到的目標場景的光線光照度為：

其中：L(u，v，x，y)表示入射光線的強度，(x，y)表示圖像在成像探測器上的橫縱坐標。

采用液晶擴散片的高分辨率光場成像系統(tǒng)的光學結(jié)構(gòu)如圖3 所示。適配所制備液晶擴散片的算法（Liquid Crystal Diffuser Light Field Algorithm，LCLFA）的具體實現(xiàn)步驟如下：

圖3 采用液晶擴散片的高分辨率光場成像系統(tǒng)示意圖Fig.3 Schematic diagram of high-resolution light field imaging system using liquid crystal diffuser

首先，將液晶擴散片放置在主透鏡與微透鏡陣列之間，其中液晶擴散片的厚度為l，整個系統(tǒng)滿足高斯成像公式：

其中：d=a+l+b，為主透鏡與微透鏡陣列之間的距離，c是微透鏡陣列與成像探測器之間的距離，fm表示微透鏡陣列的焦距。由于液晶擴散片的透過率具有電控可調(diào)特性，在不同的電壓下獲取的目標場景光場的散射光強信息不同。

其次，根據(jù)散射模型［23］可獲取目標場景的原始入射光線信息。從目標場景的原始入射光線信息中可獲取到更多的細節(jié)信息，有利于提升最終圖像的空間帶寬積。該散射模型的數(shù)學表達式為：

其中：B(u，v，s，t)表示目標場景的原始入射光照強度；I(u，v，s，t)表示目標場景的透過光照強度；t(u，v，s，t)表示光線經(jīng)過液晶擴散片的散射衰減程度，通常稱為透過率；A為該環(huán)境的光照幅度。

由于目標場景的環(huán)境瞬時變化微小，可篩選目標場景在紅綠藍3 個通道的最大均值，作為該環(huán)境光照幅度

電控可調(diào)液晶擴散片的透過率隨著外加電壓發(fā)生變化，則液晶擴散片的透過率為：

其中：I，I0分別為透射光強與入射光強，ξ為液晶擴散片中液滴的密度，Enlcext表示外加電壓，l為液晶擴散片的厚度，σ表示發(fā)生散射的平均散射截面。假定液晶擴散片中液晶液滴符合泊松分布，則式（4）中的平均散射截面為：

式中：

其中：k=，σ0為液滴的幾何光學截面，α0是入射光線的偏振角，θ0為入射光線與液晶指向矢之間的夾角，ve，vo分別為尋常光與非尋常光的計算參量，neff為液晶的有效折射率，λ為入射波長，r為液晶微滴半徑，ne，no分別為尋常光和非尋常光的折射率。

根據(jù)式（3）～式（5）可得出，液晶擴散片在不同電壓下目標場景的原始入射光線信息：

其中：Ie(u，v，s，t)為不同電壓下目標場景的透過光照強度。由式（4）可知，外加電壓強度不同，液晶擴散片的透過率不同，成像探測器所呈現(xiàn)的光場圖像的像素視覺顯著性［24］程度也會不同，則有：

其中：e表示不同的電壓信號，通常從0vrms 開始到液晶擴散片的飽和電壓；g(x，y)為I(x，y)在(x，y)處的灰度值；ω(i，j)是大小為m×n的高斯掩膜系數(shù)。則在不同電壓下圖像的基礎權(quán)重系數(shù)為：

其中：De(x，y)表示當前電壓下像素的灰度值，Se(x，y)表示當前電壓下像素的飽和度。將不同電壓下圖像的基礎權(quán)重系數(shù)歸一化為：

根據(jù)式（9）～式（11），可計算出不同電壓下圖像的高對比度區(qū)域。

最后，結(jié)合式（8）和式（11），可將液晶擴散片不同電壓下的圖像進行加權(quán)平均：

式中G(u，v，s，t)為使用本文提出的系統(tǒng)獲取到的高分辨率入射光照強度信息。

3 實驗結(jié)果與分析

為了驗證所提出方法的可行性，搭建了如圖4 所示的實驗平臺，對液晶器件的性能與成像結(jié)果進行了驗證。液晶擴散片緊貼在微透鏡陣列前方，微透鏡陣列放置在主透鏡與成像探測器之間，與成像探測器保持一倍焦距。成像探測器（MV-SUA500C-T，邁德威視公司）的分辨率為2 592 pixel×1 244 pixel；微透鏡陣列（MLA-150-5C，THORLAB 公司）的具體參數(shù)如表1 所示；鏡頭為Computar 公司的M3520-MPW2-500（35 mm）；采用VICTOR 公司2015H 的函數(shù)發(fā)生器對液晶擴散片進行驅(qū)動。計算機CPU 為8核AMD Ryzen7 4800u，其主頻為1 800 MHz，運行內(nèi)存為16 GB，所使用軟件為Matlab R2019b。

圖4 實驗場景及液晶擴散片實物Fig.4 Experimental scene and liquid crystal diffuser

表1 MLA150-5C 微透鏡陣列參數(shù)Tab. 1 Parameters of MLA150-5C microlens array

3.1 器件性能測試

圖5 為液晶擴散片的透過率測試曲線。測試設備采用上海菁華科技儀器有限公司的光度分光儀，型號為723PC。

圖5 液晶擴散片不同電壓下的透過率測試曲線Fig.5 Transmission test curves of liquid crystal diffuser under different voltages

當波長＞500 nm 時，不同電壓下液晶擴散片的透過率均超過72%，這意味著液晶擴散片具有良好的透過特性。隨著電壓的增大，液晶擴散片的透過率也有較為明顯的增加。根據(jù)高斯光束的基本定理可知，液晶擴散片加載電壓后，透過率會發(fā)生變化，其散射角θ≈tanθ=。其中，w0為高斯光束的束腰半徑。為了測量器件在不同電壓下的散射角度，采用波長為633 nm 的He-Ne 激光器（長富科技（北京）有限公司，型號為HN150B），它在1/e2處的束腰半徑w0約為0.8 mm。圖6 給出了液晶擴散片在不同電壓下的散射角度。

圖6 液晶擴散片不同外加電壓下的散射角度Fig.6 Dispersion angles of LC diffuser at different voltages

3.2 成像結(jié)果分析

液晶擴散片的透過率具有電控可調(diào)特性。通電可改變器件中液晶分子的排列方向以及液晶液滴的折射率，引起液晶擴散片透過率的變化。尤其是：當液晶擴散片在低透過率時，目標場景光場的散射光強信息較多，缺少更多細節(jié)信息；而在高透過率時，恰好逐步增強目標場景的光場細節(jié)信息。圖7 呈現(xiàn)了在不同電壓信號下該系統(tǒng)獲取的光場圖像。

圖7 不同電壓下的光場圖像Fig.7 Light field images at different voltages

當液晶擴散片未加載電壓信號時，在成像探測器上獲取的圖像是模糊的，如圖7（a）所示。由于液晶的散射效應，根據(jù)式（5）可知其平均散射截面最大，其散射光強信息多于細節(jié)信息，因此整個液晶擴散片的透過率最低。對液晶擴散片逐漸加載電壓信號，器件中的液晶指向矢逐步發(fā)生旋轉(zhuǎn)，其平均散射截面變小，透過率逐步增大，其成像探測器獲取的圖像逐漸清晰，目標場景光場的細節(jié)信息也逐漸豐富。圖7 可明顯看出隨著電壓的加大，圖7（a）～7（d），逐漸從模糊變得清晰。最后，通過適配液晶擴散片的成像算法，有效融合不同電壓下的散射光強信息與細節(jié)信息，獲得融合后的光場圖像。

通過計算重建光場圖像。為了評價重建后光場圖像的質(zhì)量，對它進行渲染。根據(jù)微透鏡陣列與成像探測器的像元孔徑匹配關(guān)系提取子圖，最終渲染獲得一張二維圖像。

將重建的光場圖像進行圖像渲染，結(jié)果如圖8 所示。并將傳統(tǒng)的玻璃型微透鏡陣列光場成像結(jié)果作為對比，如圖9 所示。通過對比，圖8 所示的光場圖像渲染圖明顯比圖9 清晰。由于液晶擴散片的透過率具有電控可調(diào)特性，由式（9）可計算得出不同電壓下獲取的圖像視覺顯著度。選取視覺顯著度高的值，在最后的加權(quán)融合中會提高最終成像的基礎權(quán)重圖像系數(shù)。最后，通過適配液晶擴散片的成像算法均衡融合不同電壓下的散射光強信息與細節(jié)信息，重建了高分辨率光場圖像。而傳統(tǒng)的微透鏡陣列成像系統(tǒng)，由于沒有更好地利用雜散光信息，丟失了較多的光場細節(jié)信息，因此，最后得到的效果要稍弱于所提出的方法。

圖8 采用液晶擴散片獲取的光場圖像的子圖渲染圖Fig.8 Rendering results of light field image captured by imaging system with liquid crystal diffuser

圖9 傳統(tǒng)玻璃型微透鏡陣列獲取的光場圖像的子圖渲染圖Fig.9 Rendering results of light field image captured by conventional MLA imaging system

從圖8 和圖9 標注的方框可以看到，圖8 中的4 組局部放大圖像，清晰度明顯高于圖9 中的4 組圖像。為了進一步量化兩者之間的對比度，本文選取獲得的光場圖像的第一視角圖作為計算參考圖，提取視角圖采用非周期性提取算法［25］。表2 列出了圖8 與圖9 的圖像質(zhì)量評價結(jié)果。

表2 圖像的質(zhì)量評價結(jié)果Tab. 2 Quality evaluation results of images

由表2 可知，圖8 的平均梯度值（AG）、峰值信噪比（PSNR）和結(jié)構(gòu)相似性指數(shù)（SSIM）均高于圖9。其中，平均梯度值的最大增長約為24.7%。

為了驗證本文所提方法的有效性，將本文所提出的液晶擴散片結(jié)合LCLFA 算法，設計組成了新型光場成像系統(tǒng)，并將獲取的渲染結(jié)果，與傳統(tǒng)玻璃型微透鏡陣列組成的光場成像系統(tǒng)分別采用小波變換成像算法（WT）、拉普拉斯金字塔成像算法（LP）及HIS 成像算法的渲染結(jié)果進行對比，結(jié)果如圖10 所示。

為了量化分析，選取圖10 中方框標出的一組圖像作為對比組。經(jīng)過計算，發(fā)現(xiàn)圖10（a）的PSNR 值明顯高于圖10（b）～10（d）。結(jié)合圖10中所有圖像信息，所提方法獲取的圖像比其他3組圖像的PSNR 值，平均提升了約4.98%。這是因為液晶擴散片的透過率具有電控可調(diào)特性，低透過率保留了更多的散射光強信息，高透過率具有更多細節(jié)信息。再通過式（12）及成像算法計算，將液晶擴散片低透過率光場的散射光強信息與高透過率光場的細節(jié)信息相融合，得出了高分辨率圖像。

圖10 不同算法的渲染結(jié)果對比Fig.10 Comparison of rendering results of different algorithms

4 結(jié)論

本文利用液晶擴散片透過率電控可調(diào)的特性，提出了高分辨率光場成像融合算法，設計了一種含液晶擴散片的高分辨率光場成像系統(tǒng)。實驗結(jié)果表明，較傳統(tǒng)方法，本文方法獲取的圖像PSNR 值平均提升約4.98%，能夠有效提高光場圖像的空間分辨率。而且，所制備的器件工藝簡單、成本較低，有利于制作出高性價比的光場相機，從而推動高分辨率光場成像技術(shù)的實用化。