張煥智

（四川大學(xué)計算機學(xué)院，成都 610065）

0 引言

光線作為人們感知真實世界的重要媒介，光線攜帶著目標(biāo)豐富的三維環(huán)境信息。與傳統(tǒng)相機的二維投影成像方式不同，傳統(tǒng)相機的成像通過在每個像素處對光線進行角度積分來記錄光線的強度信息。而光場相機成像通過改變傳統(tǒng)相機內(nèi)部的光學(xué)部件結(jié)構(gòu)，在圖像傳感器與主透鏡之間增加了一個微透鏡陣列，從而改變了光線的采集方式，產(chǎn)生了與傳統(tǒng)相機完全不同的成像效果，使得光場相機不僅能記錄光線的強度信息，而且能夠記錄光線的方向信息。由于光場相機的這種特性，這為光場相機在后期的數(shù)字圖像處理及其相應(yīng)的應(yīng)用提供了便利，如利用光場相機可以實現(xiàn)圖像的重聚焦、深度估計、視角變換、全聚焦圖像等應(yīng)用。光場相機可以在單次相機曝光之后獲取到目標(biāo)的多張具有一定視差的圖像，通過相應(yīng)的數(shù)字圖像處理技術(shù)可以計算出目標(biāo)任意深度的重聚焦圖像，這是光場相機與傳統(tǒng)相機最大的區(qū)別。由于不受傳統(tǒng)相機獲取多張聚焦圖像需要多次拍照的限制，這使得基于光場相機的數(shù)字重聚焦的全聚焦成像成為了可能，這為后期更深入的研究提供了便利。

2012年，一種新型的手持消費級相機Lytro獲得了許多人的關(guān)注（如圖1），這是由斯坦福的Ren Ng團隊設(shè)計的，并在2014年發(fā)布了第二代光場相機Lytro Illum（如圖2）。由于這兩款相機具有商業(yè)性質(zhì)，所以相機內(nèi)部的信息是封閉的。Tordor Georgive等人[1]對Lytro相機的基本成像原理做了詳細(xì)的介紹，并對Lytro相機的結(jié)構(gòu)、理論和算法做了分析，針對Lytro相機的局限性給出解決方案。2013年，Donald G.Dansereau等人[2]對Lytro相機獲取的原始光場數(shù)據(jù)進行了解碼、校準(zhǔn)、顏色校正等操作，完成了對原始光場數(shù)據(jù)的處理，這為光場相機的研究者提供了便利。對采集的原始光場數(shù)據(jù)的處理也是基于Donald G.Dansereau等人開發(fā)的基于MATLAB的Light Field Toolbox v0.4進行的。

圖1 第一代光場相機（Lytro）

圖2 第二代光場相機（Lytro Illum）

本文基于光場相機的成像特性，由于光場相機存在方向分辨率和空間分辨率的折衷問題，相機的圖像傳感器大小是一定的，這意味著要獲取目標(biāo)的多個方向信息（方向分辨率），那么相應(yīng)的圖像分辨率（空間分辨率）就會減低，這樣光場相機最終的圖像清晰度較低。為了獲得清晰度較好的圖像，需要對光場相機獲取的圖像進行全聚焦成像，即擴展圖像的景深，使的成像范圍的目標(biāo)都處于聚焦?fàn)顟B(tài)（清晰）。為了獲取質(zhì)量較好的全聚焦圖像，本文提出了一種基于空域的全聚焦圖像生成算法，該算法有效的實現(xiàn)了光場相機原始圖像到全聚焦圖像的處理，生成了較好地全聚焦圖像質(zhì)量。

1 光場理論

1.1 光場

光場（Light Field）描述的是光線在自由空間中的分布。這樣可以從我們的世界中捕獲更豐富的信息。描述光線分布的早期模型最早由A.Gershun等人[3]于1936年提出的，用于描述光在三維空間中的傳輸時的輻射照度的變化屬性。1991年，E.Adelson和J.Bergen等人[4]根據(jù)人眼對外部光線的視覺感知對光場進一步的完善，E.Adelson等人對光場利用形式化的語言進行描述，提出了全光函數(shù)理論，并根據(jù)全光函數(shù)的理論，用七維函數(shù)來表征空間分布的幾何光線，該模型被稱為全光函數(shù)（Plenoptic Function）。全光函數(shù)可表示為L(x,y,z,θ,φ,λ,t) ，其七個變量分別表示：x,y,z表示光線中一點的三維空間坐標(biāo)，θ,φ表示光線的傳播方向，λ表示光線的波長，t表示時間。1995年，Leonard Mc?Millan等人[5]將全光函數(shù)將維到五維L(x,y,z,θ,φ)，該函數(shù)不包含波長和時間兩個維度的信息，即只考慮光線在自由空間中的傳輸，其波長一般不會發(fā)生變化。更進一步，1996年，美國斯坦福的M.Levoy等人[6]在忽略光線在傳輸過程中衰減的情況下，將五維的全光函數(shù)降到四維全光函數(shù)，并提出了對四維光場進行參數(shù)化表針的雙平面模型，提出雙平面模型表示光場的合理性和實用性在于，現(xiàn)實中絕大部分的成像系統(tǒng)都可以簡化為兩個相互平行的平面，如傳統(tǒng)的成像系統(tǒng)中的主透鏡平面和圖像傳感器平面。

1.2 光場的參數(shù)化

根據(jù)M.Levoy的光場渲染理論，對四維光場進行參數(shù)化表示，如圖3所示，LF(x,y,u,v)表示光場的一個采樣，其中各變量分別表示：L表示光線的強度，(u,v)表示光線和鏡頭平面的交點，(x,y)表示光線和圖像傳感器平面的交點。鏡頭平面上的坐標(biāo)(u,v)表示光線的傳輸方向，而圖像傳感器平面上每個坐標(biāo)(x,y)則記錄了光線的分布位置，F(xiàn)表示鏡頭和圖像傳感器之間的距離。

圖3 光場四維信息的參數(shù)化表示

傳統(tǒng)成像系統(tǒng)所采集到的光場強度可以利用光場的雙平面參數(shù)化表示如圖4所示，光場的能量函數(shù)可以表示為：

其中，(u,v)表示鏡頭出瞳面上的坐標(biāo)。通常情況下，為了近似求解快速的分析問題，可以忽略前面的系數(shù)即將公式（1）簡化為：

由此可見，傳統(tǒng)成像系統(tǒng)所采集到的光場只能反映其光場強度和位置之間的關(guān)系，不能反映其方向信息()

u,v。

圖4 傳統(tǒng)成像系統(tǒng)采集的光場分布

1.3 基于微透鏡陣列的光場采樣

通過在傳統(tǒng)成像系統(tǒng)中的適當(dāng)位置加入微透鏡陣列，可以改變其成像方式，如圖5所示光場相機原理圖[7]。在主透鏡和圖像傳感器之間的適當(dāng)位置放置一塊微透鏡陣列，這樣來自目標(biāo)某個位置上的光線通過主透鏡的折射會聚焦微透鏡陣列上的某一塊微透鏡上，然后通過微透鏡發(fā)散光線，最終記錄在圖像傳感器的相應(yīng)的位置。經(jīng)過微透鏡的光線發(fā)散后記錄在圖像傳感器上，相應(yīng)覆蓋的這塊區(qū)域就是宏像素，宏像素中包含的每一個像素叫做像元，每一個像元記錄了目標(biāo)某一位置的一個方向信息。在理想情況下，如果微透鏡陣列中的微透鏡單元的數(shù)量為M1×M2，每個微透鏡單元覆蓋的像元數(shù)量為N1×N2，那么圖像傳感器中的像元數(shù)量應(yīng)為

圖5 光場相機原理圖

2 全聚焦算法原理

2.1 光場相機重聚焦原理

在光場成像系統(tǒng)中，通過光場的參數(shù)化，四維光場就可以被記錄下來。我們就可以通過對采集到的數(shù)據(jù)進行計算來改變光場的投影平面，這就是光場的數(shù)字重聚焦技術(shù)（Digital Refocusing），即通過光場成像原理，將采集到的光場數(shù)據(jù)重新投影到新的成像平面上進行積分。通過數(shù)字重聚焦技術(shù)，讓圖像聚焦在不同的焦平面上，如圖6所示是光場成像的數(shù)字重聚焦原理[9]。

圖6 數(shù)字重聚焦原理圖

其中，α=F'/F，令Bα是一個4×4矩陣，可得：

將Bα代入（3）可得：

將公式（4）代入（2）可得：

所以：

EαF即是四維光場獲得的重聚焦能量大小。

2.2 全聚焦圖像生成算法

當(dāng)相機聚焦在不同的成像平面上的時候，處于聚焦平面上的圖像是清晰可見的，而不再聚焦平面上的圖像處于散焦?fàn)顟B(tài)。處于散焦的圖像是由于圖像中目標(biāo)的輪廓不明顯，輪廓邊緣灰度變化不強烈，層次感不強造成的。相反，處于聚焦?fàn)顟B(tài)的圖像的輪廓邊緣灰度變化比較明顯，灰度變化比較強烈，層次感分明，所以圖像就顯示的較為清晰。

對于聚焦平面的圖像，由于處于聚焦?fàn)顟B(tài)，圖像較為清晰，圖像的輪廓邊緣灰度變化比較明顯，在圖像處理中使用梯度的變化去衡量。由于圖像是一個二維函數(shù)，令其為f(x,y)，那么圖像f(x,y)在點(x,y)處的x方向和y方向的梯度可以表示如下：

結(jié)合圖像f(x,y)在點(x,y)處的x方向和y方向的梯度，圖像f(x,y)在點(x,y)處的梯度可以表示如下：

通過公式（8）計算機一張灰度圖像的所有灰度值，由于圖像的梯度值可以反映邊緣比較銳利的清晰度，并且梯度值較大，相應(yīng)的圖像邊緣則反映的比較銳化。通過計算所有重聚焦圖像的梯度，選擇所有重聚焦圖像中圖像f(x,y)在點(x,y)梯度值最大的像素作為最后的全聚焦圖像該像點的像素，可以計算出最終的全聚焦圖像，整個算法的處理過程如圖7所示。

圖7 算法處理流程圖

3 實驗結(jié)果與分析

為了驗證上述算法的可行性和正確性，實驗在MATLAB R2017a平臺上實現(xiàn)，計算機硬件配置如下：CPU是AMD A6-3400 1.4GHz，內(nèi)存為8GB，操作系統(tǒng)是Windows7 x64，硬盤容量為500GB。根據(jù)如圖7所示的流程圖，用MATLAB為主要的編程實現(xiàn)各部分的功能，最終實現(xiàn)光場相機的全聚焦圖像。

采集數(shù)據(jù)使用的是第二代光場相機是Lytro Illum，相機具有541×434個微透鏡，輸入的光場原始數(shù)據(jù)是用Lytro Illum拍攝的光場圖像，分辨率是7728×5368，文件格式為LFR，數(shù)據(jù)來自公開的新光場相機數(shù)據(jù)集[10]。光場數(shù)據(jù)的提取使用了G.Dansereau在文獻[2]中介紹的方法，經(jīng)過對光場數(shù)據(jù)的提取、解碼、校準(zhǔn)等操作可以獲取光場相機的原始圖像，如圖8所示（分辨率為7728×5368），可見原始成像的效果并不理想。為了將圖像傳感器上的原始色彩還原為人眼視覺可接受色彩信息，得到效果較好的光場圖像，需要對原始圖像進行去馬賽克（Demosaic）、色彩校正等操作，結(jié)果如圖9所示（分辨率為7728×5368），可見經(jīng)過處理后的圖像比原始圖像更好的色彩信息。

經(jīng)過前面對光場數(shù)據(jù)的處理過程后，可到了質(zhì)量較好的圖像。根據(jù)重聚焦公式（5）對獲取到的光場數(shù)據(jù)進行重新聚焦在不同的焦平面上。實驗的α的取值范圍(0.8，1.7)，步長為0.05，通過重聚焦算法可以獲取到聚焦在不同焦平面上的圖像，對于給定的α，可以得到一張重聚焦圖像，如圖10-13所示，給出了分別聚焦在聚焦參數(shù)α為0.85、1.00、1.30、1.60時的圖像（分辨率為625×434）。然后，通過公式（8）計算每張重聚焦圖像的梯度值，對于彩色圖像，在三通道中分別計算其梯度值，最后將三通道的梯度值進行平均作為衡量圖像清晰度的線索。最后，將梯度值最大對應(yīng)的重聚焦圖像的像素融合到最終的全聚焦圖像中，如圖所示。實驗表明本文算法能夠融合得到光場圖像的全聚焦圖像，在一定程度上提高了目標(biāo)圖像的清晰度。

從聚焦在不同的深度上的圖像可以看出，處于聚焦深度上的圖像是清晰可見的，而處于聚焦深度附近的圖像由于光場相機的景深作用也是清晰可見的，但遠(yuǎn)離聚焦深度的圖像就顯得模糊不清了。如圖10-13所示，圖中給出了聚焦在不同深度的重聚焦圖像，聚焦參數(shù)α分別為 0.85、1.00、1.30、1.60，隨著聚焦參數(shù)α的變大，圖像就聚焦到深度更深的位置。當(dāng)聚焦參數(shù)α為0.85的時候，重聚焦到前面的人物，所以前面的人物就顯得清晰可見，而深度較大的人物就模糊不清，圖中綠色線框表示處于聚焦的圖像，紅色線框表示處于散焦的圖像；當(dāng)聚焦參數(shù)α為1.00的時候，重聚焦到第二個人物，所以第二個人物及附近的人物就顯得清晰可見，而深度較大的人物就模糊不清。值得一提的是，此時圖像重聚焦參數(shù)α為1.00，圖像聚焦在原始圖像聚焦的深度上；當(dāng)聚焦參數(shù)α為1.30的時候，重聚焦到靠后的人物，處于圖像深度較淺的人物由于離焦開始變得模糊了，處于聚焦深度的圖像此時清晰可見；當(dāng)聚焦參數(shù)α為1.60的時候，重聚焦到最后面的人物，所以前面的人物就由于離焦變得非常模糊，而后面的人物由于聚焦顯得清晰可見。而圖14是最后融合后的全聚焦圖像，由于全聚焦圖像提取了所有重聚焦序列圖像中的清晰度最大的圖像，所以圖像中的所有人物都處于聚焦?fàn)顟B(tài)，因此均清晰可見。

4 結(jié)語

光場相機作為一種新型的相機，由于光場相機在傳統(tǒng)相機的圖像傳感器前面加入了微透鏡陣列，這使得光場相機與傳統(tǒng)相機相比具有不同的成像特性，光場相機可以對光場重新采樣實現(xiàn)圖像的數(shù)字重聚焦。本文首先根據(jù)光場相機特殊的成像特性，對原始光場數(shù)據(jù)進行解碼、標(biāo)定、去馬賽克、顏色校正等操作，而后通過數(shù)字重聚焦的原理實現(xiàn)光場圖像的數(shù)字重聚焦，生成了一系列的重聚焦圖像序列。然后利用圖像梯度作為線索來反映圖像的聚焦?fàn)顟B(tài)，將梯度值較大的圖像的序號保存。最后融合這些梯度值最大的像素作為最終的全聚焦圖像。實驗表明，本文提出的算法的正確性和有效性，對光場相機圖像的圖像清晰度具有較好的提升。

雖然本文的全聚焦算法可以提升光場圖像的成像質(zhì)量，但由于光場相機固有的光學(xué)物理結(jié)構(gòu)，使的光產(chǎn)相機成像的分辨率不是很高，文中Lytro Illum相機拍攝的原始圖的分辨率較高是因為相機內(nèi)置了相應(yīng)的圖像處理算法，提升圖像的分辨率。但是由于Lytro Illum是一款商業(yè)相機，所以并沒有公開相應(yīng)的分辨率提升算法。接下來，可以通過對光場相機更加深入的研究，從而實現(xiàn)光場相機的高分辨率全聚焦成像。

圖8 原始圖像

圖9 經(jīng)過色彩校正的原始大小圖像

圖10 α=0.85

圖11 α=1.00

圖12 α=1.30

圖13 α=1.60

圖14 全聚焦圖像