黃澤豐，楊莘，鄧慧萍，李青松

（武漢科技大學 信息科學與工程學院， 武漢 430081）

0 引言

傳統(tǒng)相機在拍照時會丟失光線分布的信息，而光場相機可以同時捕獲光線的角度和空間信息，能在不減少光圈的情況下擴展相機的景深，從而縮短曝光時間并降低圖像噪聲［1］。光場相機可以在一次拍攝中直接捕獲光線場，但會犧牲成像的空間分辨率和角度分辨率，因此所成像的空間分辨率低于原生圖像傳感器生成的圖像［2］。為了彌補上述缺點，對光場進行重聚焦從而有效提升光場圖像的空間分辨率。光場數(shù)字重聚焦通過將光線從主透鏡平面重新投影到新的平面上來生成重聚焦圖像，經(jīng)過重聚焦后的圖像其聚焦區(qū)域的清晰度得到提高。多聚焦圖像融合通過從同一場景多幅部分聚焦的圖像中創(chuàng)建一個全局聚焦的圖像來擴展光學透鏡視場深度［3］。光場圖像全聚焦融合通過結合多聚焦圖像融合與光場數(shù)字重聚焦，從而獲得全局聚焦的光場圖像。傳統(tǒng)的多聚焦圖像融合算法主要分為空間域和變換域兩類?？臻g域方法基于像素強度來處理并融合圖像；變換域方法通過某種變換將源圖像分解成不同的子帶圖像，然后用不同的融合規(guī)則對各子帶進行融合。此外，隨著神經(jīng)網(wǎng)絡技術的發(fā)展，基于深度學習的圖像融合方法也開始嶄露頭角。

近兩年，基于光場數(shù)字重聚焦的全聚焦圖像融合方法逐漸流行。武迎春等［4］使用邊緣增強型引導濾波對經(jīng)三尺度分解后的重聚焦圖像進行優(yōu)化并生成全聚焦圖像，該方法能補償因光場標定誤差而丟失的邊緣信息并提高了全聚焦圖像的清晰度。謝穎賢等［5］使用離散小波變換對重聚圖像進行分解，隨后對各分量采用不同融合規(guī)則來生成全聚焦圖像，該方法避免了因融合產(chǎn)生的塊效應并優(yōu)化了圖像的視覺效果。蘇博妮［6］將重聚焦圖像按亮度和色度通道分別進行處理來生成全聚焦圖像，該方法能有效提高光場全聚焦圖像的空間分辨率。使用光場數(shù)字重聚焦生成的重聚焦圖像不受由相機調焦引起的成像范圍及成像角度的限制，為全聚焦圖像的生成提供了便利。

本文提出了一種基于多尺度潛在低秩分解（Multi-level image Decomposition base on Latent Low-Rank Representation， MDLatLRR）的光場全聚焦融合算法。算法將多尺度潛在低秩分解引入光場全聚焦圖像融合，經(jīng)分解得到的基礎層保留了圖像的結構信息，顯著層保留了圖像的邊緣信息和紋理細節(jié)。對各層的特征提取算法進行改進，基礎層用局部雙區(qū)域窗代替八鄰域窗，使計算得到的圖像銳度能更加精確；顯著層使用基于引導濾波的多尺度視覺顯著性提取算法，增強了視覺顯著性提取能力。引入核主成分分析（Kernal Principal Component Analysis， KPCA）對各層特征系數(shù)進行融合，生成由基礎層圖像銳度和顯著層視覺顯著性共同決定的聚焦決策圖。

1 光場圖像數(shù)字重聚焦

與傳統(tǒng)圖像不同，光場圖像通常使用四維雙平面參數(shù)化模型L(u，v，s，t)來進行表示，其中，L表示光線的強度；(u，v)為主透鏡平面，用于控制角度分辨率；(s，t)為傳感器平面，用于控制空間分辨率。通過對雙平面參數(shù)進行積分，可獲得聚焦平面的積分圖像，表示為

通過對光場重新投影，使光線由傳感器平面投影到重聚焦平面上，然后對其進行積分便可得到重聚焦圖像，即

式中，ω代表聚焦系數(shù)。通過調節(jié)聚焦系數(shù)，能將光場聚焦在不同平面上。光場重聚焦參數(shù)化模型如圖1所示。

圖1 光場圖像數(shù)字重聚焦參數(shù)化模型Fig.1 Digital refocusing parameterization model of light field image

2 基于多尺度潛在低秩分解的光場圖像全聚焦融合原理

基于多尺度潛在低秩分解和核主成分分析的光場圖像全聚焦融合算法流程如圖2 所示。首先通過對4D 光場圖像進行光場數(shù)字重聚焦得到聚焦于不同深度的重聚焦圖像。為了更為細致地提取各重聚焦圖像的聚焦特征，采用多尺度潛在低秩分解將重聚焦圖像分解為基礎層和顯著層，隨后針對基礎層和顯著層各自的特性分別采用不同的算法進行特征提?。夯A層包含重聚焦圖像的結構信息，通過分析局部梯度變化情況能得到聚焦區(qū)域的大致輪廓；顯著層包含重聚焦圖像的紋理細節(jié)和顯著目標，計算視覺顯著性能反映聚焦區(qū)域的邊緣信息，使得聚焦區(qū)域的判決更為準確可靠。聚焦決策圖的生成由各層特征系數(shù)決定，用核主成分分析對特征系數(shù)進行降維融合，融合后的特征系數(shù)綜合了基礎層和顯著層各自的特征。最后由融合特征系數(shù)生成聚焦決策圖，引導重聚焦圖像的融合并得到光場全聚焦圖像。

圖2 基于多尺度潛在低秩分解的光場全聚焦圖像融合算法流程Fig.2 Full-focus image fusion algorithm flow of light field based on multi-scale latent low-rank decomposition

2.1 多尺度潛在低秩分解

對于一個數(shù)據(jù)矩陣，可以將其看作在完備字典下的線性組合，具體表示為

式中，X為數(shù)據(jù)矩陣，Z為系數(shù)矩陣，D為完備字典。低秩表示法在式（3）的基礎上通過使用數(shù)據(jù)矩陣本身作為字典來實現(xiàn)數(shù)據(jù)矩陣的子空間分割。該過程可表示為

式中，||? ||*代表矩陣的核范數(shù)，表示矩陣的奇異值之和。低秩表示法希望系數(shù)矩陣Z的核范數(shù)盡可能地小。當數(shù)據(jù)采樣不足時，系數(shù)矩陣Z只能取單位矩陣作為唯一解從而造成低秩表示失敗，這種現(xiàn)象被稱作隱藏效應。

潛在低秩表示法在低秩表示法的基礎上將解決隱藏效應轉換為對凸優(yōu)化問題的求解，具體可以表示為

式中，λ表示大于零的平衡系數(shù)，||?||*和||?||1分別代表核范數(shù)和L1 范數(shù)，H是顯著系數(shù)的投影矩陣，E是系數(shù)噪聲矩陣。一旦得到投影矩陣，就可將其用于提取圖像的顯著信息。

潛在低秩分解首先對投影矩陣與輸入圖像的乘積進行重構來得到圖像的顯著層，然后使用輸入圖像減去顯著圖像得到基礎層。多尺度潛在低秩分解則是對基礎層繼續(xù)進行潛在低秩分解，從而得到更加豐富的顯著信息。經(jīng)過多尺度潛在低秩分解后，輸入圖像被分解為一個基礎層和若干個顯著層，基礎層保留輸入圖像的低頻信息；顯著層實現(xiàn)對輸入圖像細節(jié)紋理和顯著目標等高頻信息的提??；隨著迭代次數(shù)的增加，顯著層對輸入圖像的特征提取能力得到增強，對細節(jié)紋理以及顯著目標的提取更為精確。

本文算法使用三尺度潛在低秩分解對各重聚焦圖像進行分解：首先對輸入圖像進行潛在低秩分解得到初始基礎層和顯著層一層，隨后將初始基礎層作為輸入圖像再次進行潛在低秩分解，如此往復直至分解至第三層，最后將第三次分解得到的基礎層作為三尺度潛在低秩分解的基礎層，分解結果如圖3 所示。其中，基礎層包含源圖像的主要結構，如圖3（b）所示；顯著層隨著分解尺度的迭代顯著細節(jié)逐漸得到突出，如圖3（c）～（e）所示。

圖3 三尺度潛在低秩分解結果Fig.3 Results of three-scale latent low-rank decomposition

2.2 基礎層特征系數(shù)矩陣求解

基礎層保留了重聚焦圖像中的結構信息以及因分解產(chǎn)生的偽影。在重聚焦圖像中，聚焦區(qū)域像素灰度值的變化通常大于散焦區(qū)域像素灰度值的變化，而梯度反映了灰度值的變化程度。此外，像素與其相鄰像素之間的梯度差代表了圖像的銳度，計算圖像的銳度可以擴大一個像素與其相鄰像素之間的差異，將有益于聚焦和散焦區(qū)域的判定。文獻［7］提出了一種基于八鄰域圖像梯度差值的聚焦點檢測算法，該算法中單像素點圖像銳度值S(i，j)計算公式為

式中，G(i，j)表示位于坐標(i，j)處像素的梯度值。該方法通過計算源圖像在梯度域中每個像素與其八鄰域像素的梯度差值的平方和從而得到源圖像的銳度。該方法具有速度快且高效的優(yōu)點，但是在計算局部圖像銳度時因易受水平和垂直方向的能量抵消而導致抗噪性能下降。

在式（6）基礎上對原有方法加以改進，將基于像素點的八鄰域拓展到以像素點為中心向外輻射的5×5局部窗，并根據(jù)與中心的距離將窗內像素點劃分為內、外兩個區(qū)域Ω1和Ω2，如圖4（b）所示。對內部區(qū)域Ω1使用梯度差平方和來擴大目標像素與其四鄰域像素之間的差異；對外部區(qū)域Ω2使用受L2 范數(shù)約束的梯度差來統(tǒng)計周邊區(qū)域對目標像素的影響。改進后的算法對噪聲具有更高的魯棒性并能保留更為豐富的梯度信息。局部銳度值Slocal的具體定義為

圖4 局部梯度差值加權法Fig.4 Local step difference weighting method

式中，SΩp(i，j)代表位于坐標(i，j)處的像素值在區(qū)域Ωp中(p∈{1，2})的銳度值；|Ω1|和|Ω2|作為權重系數(shù)分別取4 和20，代表對應區(qū)域包含的像素數(shù)目；||?||2表示L2 范數(shù)。

基于本文方法和文獻［7］方法的圖像銳度提取結果分別如圖4（c）和（d）所示。通過對比兩算法生成的銳度矩陣可知：基于局部窗的圖像銳度算法具有更強的魯棒性，生成的圖像銳度矩陣受散焦區(qū)域噪聲的影響更小，且能更精確地反映聚焦區(qū)域邊界的梯度變化情況。

2.3 顯著層特征系數(shù)矩陣求解

顯著層保留了源圖像中的細節(jié)信息和顯著特征。顯著特征在重聚焦圖像中表現(xiàn)為對聚焦區(qū)域的突出，而細節(jié)信息的保留很大程度上決定了全聚焦圖像質量。通過對重聚焦圖像的顯著層進行視覺顯著性檢測可以得到較為準確的聚焦區(qū)域。MA J 等［8］提出了一種簡單有效的圖像視覺顯著性計算方法，該算法通過衡量每個像素與圖像中其他所有像素的對比度來表示該像素的顯著性。對于灰度級p，圖像中對應像素的顯著性R(p)可以表示為

式中，η(p)代表圖像中灰度值p對應的像素數(shù)目，τ為灰度值，P為灰度級數(shù)。該方法雖然可以快速計算出圖像的視覺顯著性，但所獲結果易受源圖像影響進而在聚焦區(qū)域之外產(chǎn)生較大權值，如圖5（b）中間位置處的盆景輪廓和位于右下方的果盤虛影。

圖5 多尺度迭代顯著性檢測算法Fig.5 Multi-scale iterative significance detection algorithm

針對此問題提出了一種新的多尺度圖像顯著性提取方法，具體步驟包括：1）將直接對源圖像進行顯著性矩陣計算改變?yōu)樵谔荻扔蜻M行；2）通過引導濾波對顯著性矩陣進行優(yōu)化；3）將單尺度顯著性檢測改進為基于引導濾波的多尺度迭代顯著性檢測。

首先，計算源圖像中每個像素的梯度值，計算公式為

用Sobel 算子來計算圖像梯度，?x f與?y f分別表示源圖像在水平和豎直方向上的梯度值。

其次，計算源圖像在梯度域中的顯著性矩陣，公式為

式中，Gkn表示第n張重聚焦圖中第k層顯著層的梯度圖像，N為重聚焦圖像總數(shù)；R(?)表示圖像顯著性矩陣；Vkn，1代表源圖像在單尺度下的梯度域顯著性矩陣。所獲結果與原方法相比，位于聚焦區(qū)域之外的誤判區(qū)域權值得到抑制，如圖5（c）所示。

最后，將對應顯著層源圖像作為引導圖像對單尺度梯度域顯著性矩陣進行引導，隨后重復該過程并使之與前次結果進行疊加，具體過程為

式中，F(xiàn)guidedfilter(?)表示引導濾波函數(shù)，fkn表示第n張重聚焦圖中第k層顯著層源圖像，s表示當前尺度系數(shù)，M為總迭代次數(shù)，ε為引導濾波正則化系數(shù)，本文設為0.001。在不同尺度下使用顯著層源圖像作為引導圖像對顯著性矩陣進行引導濾波，可以使顯著性矩陣保留引導圖像的結構且不丟失邊緣信息。在不同迭代次數(shù)下生成的顯著性矩陣結果如圖5（d）～（h）所示。從圖中可以看出，隨著迭代次數(shù)的增加，聚焦區(qū)域的突出程度也越來越高，當?shù)螖?shù)達到4 次時，對聚焦區(qū)域的提取已相當精準，之后的迭代對于顯著性提取影響甚微。

為了進一步對比不同尺度下顯著層的特征提取能力，選用方差、信息熵和均方根誤差等指標對1 至6 次迭代下梯度域顯著性提取結果進行對比，其中：方差和信息熵分別描述顯著性矩陣的細節(jié)保留以及顯著信息提取的能力，方差越高反映了保留的細節(jié)和紋理越豐富，信息熵越高則反映顯著性矩陣對輸入圖像的顯著信息提取能力更強；此外，通過計算顯著性矩陣和輸入圖像梯度圖之間的均方根誤差，能反映不同迭代次數(shù)下的顯著目標提取準確度，越小的均方根誤差表示檢測效果越精確。為統(tǒng)籌考慮各項指標，對各結果經(jīng)過歸一化后的三個指標進行疊加得到綜合評定分數(shù)，定義為

式中，Vs，s∈{1，...，6}表示在1 至6 次迭代次數(shù)下生成的顯著性矩陣；Qvariance、Qentropy和Qrmse分別計算顯著性矩陣的方差、信息熵以及與梯度圖像G的均方根誤差，并在計算完后對結果進行歸一化。圖6 反映了不同迭代次數(shù)下各顯著性矩陣的得分情況，可以看出隨著迭代次數(shù)增加，顯著性矩陣的性能得到提升，并在第三次達到拐點隨后增長緩慢。為了減少計算量并降低時間成本，將迭代次數(shù)選定為4 次。

圖6 不同迭代次數(shù)下顯著性矩陣得分情況Fig.6 Score of salient matrix under different iterations

2.4 基于核主成分分析的聚焦決策圖生成及融合

核主成分分析［9］是主成分分析的一種非線性推廣，將輸入數(shù)據(jù)映射到高維特征空間中，然后對主成分進行分析。該方法可將高維數(shù)據(jù)降至低維并保留主要成分以及提取特征信息，且其效果優(yōu)于同類其他方法［10］。在本文中，光場重聚焦圖像經(jīng)三尺度潛在低秩分解得到了一個基礎層和三個顯著層，算法框架如圖7所示。聚焦決策圖生成詳細步驟為：

圖7 基于核主成分分析的特征系數(shù)矩陣融合算法框架Fig.7 Framework of eigencoefficient matrix fusion algorithm based on kernel principal component analysis

1）為提高算法運行效率，對基礎層和顯著層的特征系數(shù)矩陣進行分割，將特征系數(shù)矩陣分解為M2個子矩陣，該過程可表示為

式中，fnij表示子矩陣，i和j為子矩陣在原矩陣中的對應位置。子矩陣的尺寸會影響降維的時間成本和降維融合效果，所用源圖像大小為1 024×1 024，在實驗過程中分別使用32×32、16×16 和8×8 的子矩陣，經(jīng)過對比發(fā)現(xiàn)：32×32 子矩陣所需要的時間成本是其余尺寸的2 倍及以上；8×8 子矩陣時間成本最低，但由于尺寸過小導致最終降維融合的效果不如16×16 子矩陣。綜合考慮，將子矩陣大小定為16×16，則M=分割完成后，對所有子矩陣進行向量化重組，在對其他特征系數(shù)矩陣進行同樣操作后將所有向量進行組合，即

式中，vnij是對式（14）中的子矩陣fnij進行向量化后的結果；Y為4，表示特征系數(shù)向量總數(shù)。各分割特征系數(shù)向量經(jīng)過組合后得到分割特征系數(shù)矩陣Fcombine，將原本三維的數(shù)據(jù)降至二維。

2）使用核主成分分析對分割特征系數(shù)矩陣進行降維處理：先用非線性映射Φ(xi)將輸入的分割特征系數(shù)矩陣Fcombine中的元素xi(i=1，…，Y)映射到高維特征空間中使其線性可分，然后在這個高維空間中進行主成分分析降維。高維特征空間中的協(xié)方差矩陣定義為

由于非線性映射Φ(xi)是未知的，需要通過選取合適的核函數(shù)k，將對協(xié)方差矩陣C的操作轉化為對核矩陣K特征值求解的問題。核矩陣K表現(xiàn)形式為

采用高斯核函數(shù)，其定義為

σ為標準差?？芍?，Kij=k(xi，xj)=Φ(xi)Φ(xj)。隨后，求解核矩陣K的特征值λ以及經(jīng)過標準化的特征向量。特征向量υ的標準化定義為

為了實現(xiàn)非線性映射的中心化，還需要對核矩陣K進行中心化處理。定義OY為Y×Y的全1 矩陣，則經(jīng)過中心化后的核矩陣表示為

3）分割特征系數(shù)Fcombine經(jīng)過降維得到了融合特征系數(shù)向量，對每個重聚焦圖像的融合特征系數(shù)向量進行重塑得到對應的重塑系數(shù)矩陣Fnfused，n∈{1，…，N}，N為重聚焦圖像總數(shù)。采用取最大值規(guī)則對所有融合特征矩陣中的每個像素點進行判決，得到初始決策圖Iinitial中每個像素值的表示

由于初始決策圖的構建可能受聚焦區(qū)域中存在的一些散焦塊影響從而產(chǎn)生小的誤判區(qū)域，所以要對初始決策圖執(zhí)行小結構去除來優(yōu)化決策圖。具體過程可以表示為

式中，F(xiàn)ssr(?)為小結構去除函數(shù)，ψ為判決閾值，當圖像中存在像素數(shù)目小于ψ的區(qū)域時會被去除，ψ設置為各張重聚焦圖像初始決策圖中聚焦區(qū)域像素總數(shù)的5%。

得到最終決策圖后，使用重聚焦圖像作為引導圖像來對聚焦決策圖進行引導濾波從而削減模糊邊界的影響，全聚焦圖像Iaif可以表示為

式中，N代表光場重聚焦圖像的數(shù)量，rf和εf分別為引導濾波函數(shù)尺度系數(shù)和正則化系數(shù)，I代表光場重聚焦圖像；Iinitial代表最終決策圖。

3 實驗結果與分析

實驗使用的硬件配置為：CPU：Intel Core i7-11800H；RAM：32.0 GB；GPU：GeForce RTX 3060，實驗環(huán)境為Matlab R2019a。實驗分為兩部分：1）選用多個4D 光場子孔徑圖像組進行全聚焦融合實驗以驗證本文算法的有效性；2）與其他先進的多聚焦圖像融合方法從主觀和客觀兩方面進行比較以評估本文算法性能。

3.1 光場全聚焦融合實驗

實驗數(shù)據(jù)選用HCI 數(shù)據(jù)集［11］提供的4D 光場數(shù)據(jù)，每組數(shù)據(jù)均包含10 張重聚焦圖像，實驗所用部分數(shù)字重聚焦圖像及對應聚焦決策圖如圖8 所示。圖8 展示了從4 組光場數(shù)據(jù)集中選出的3 張光場數(shù)字重聚焦圖像以及由本文方法生成的聚焦決策圖。圖9 展示了4 組全聚焦融合實驗的總聚焦決策圖以及對應的光場全聚焦圖像，其中，第一、第三列為總聚焦決策圖；第二、第四列為全聚焦圖像。通過對比圖8 和圖9 可以發(fā)現(xiàn)，總聚焦決策圖中不同顏色對應各單一聚焦決策圖，此外，本文方法在處理聚焦區(qū)域模糊邊界問題上用重聚焦圖像作為引導圖像對聚焦決策圖進行引導濾波，使各聚焦決策圖的銜接更為平滑，表現(xiàn)在總聚焦圖上為不同顏色區(qū)域銜接處具有模糊效果。

圖8 4 組光場重聚焦圖像以及對應聚焦決策圖展示Fig.8 Four groups of light field refocusing images and corresponding focusing decision map

圖9 各重聚焦圖像總聚焦決策圖以及對應全聚焦圖像展示Fig.9 The total focusing decision map of each refocusing image and the corresponding all-in-focus image are displayed

圖9（a）和（b）為Herbs 圖像組的總聚焦決策圖和全聚焦圖像，總聚焦決策圖中10 個灰度級對應10 張重聚焦圖像的聚焦區(qū)域，各聚焦區(qū)域囊括了Herbs 圖像的所有要素：背景（墻壁）、物品（桌子上的盆景、花瓶以及果盤）、各物品間的區(qū)域（果盤、空碟和盆景三者之間的區(qū)域）以及前景（桌角和桌子外側）。通過總聚焦決策圖引導重聚焦圖像進行融合便能生成全聚焦圖像，觀察圖9（b）、（d）、（f）及（h）等全聚焦融合結果可以發(fā)現(xiàn)：各聚焦區(qū)域邊界銜接自然、邊緣信息得到良好保留，果盤中各水果輪廓以及白色立式花瓶和其左側的植物相交處；同時，經(jīng)過重聚焦后的光場圖像實現(xiàn)了對紋理細節(jié)的增強（植物葉子、花瓶上的花紋以及背景墻上的細節(jié)），使全聚焦融合結果具有更好的視覺效果。此外，本文算法不對分解后的各層直接進行融合，而是通過生成聚焦決策圖來引導重聚焦圖像進行融合，所獲得的全聚焦圖像不會因為各層融合產(chǎn)生的噪聲而導致圖像質量下降。

3.2 多聚焦圖像融合對比實驗

為了進一步評估本文算法的性能，選取了6 種多聚焦圖像融合算法：RW［12］、f-PCNN［13］、IFCNN［14］、MGFF［15］、MST［16］、CSR［17］來進行比較。對比實驗采用LFSD［18］數(shù)據(jù)集提供的光場重聚焦圖像，由于大多數(shù)方法僅針對兩幅重聚焦圖像的融合，所以從每組重聚焦圖像中選出兩張作為輸入圖像，共計10 組。為了保證實驗結果客觀公正，所選方法均使用原文提供的源代碼以及最優(yōu)參數(shù)。選取四大類共10 種客觀評價指標［19］：1）基于人類視覺系統(tǒng)的指標，包括Qcv[20]、Qcb[21]、Qabf[22]，Qcv考慮局部測量來估計源圖像中重要信息被融合圖像的表示程度，Qcb基于人眼視覺系統(tǒng)模型對融合圖像進行質量評價，Qabf利用人眼對比度靈敏度函數(shù)比較融合圖像與源圖像的視覺差異；2）基于圖像梯度的指標，包括空間頻率（Spatial Frequency，SF）、平均梯度（Average Gradient，AG）以及邊緣強度（Edge Intensity，EI）；3）基于統(tǒng)計學的指標，包括方差（Variance，Var）；4）基于信息論的指標，包括信息熵（Entropy，EN）、交叉熵（Cross Entropy，CE）以及互信息量（Mutual Information，MI）。這四類指標涵蓋了對人眼視覺感知、圖像顯著性、邊緣信息量以及圖像失真程度等因素的考慮，能夠較為全面且客觀地評價融合圖像的質量。

圖10 反映了實驗中7 種算法在融合LoveLocks 圖像組時的表現(xiàn)。其中，圖10（a）和（b）均為重聚焦圖像，（c）～（i）為所選算法各自的融合結果。為進行更細致的對比，對融合結果的細節(jié)放大處理，紅框和綠框即為局部放大區(qū)域。通過對比放大區(qū)域可以發(fā)現(xiàn)，本文算法在對源圖像的細節(jié)保留上有較為優(yōu)秀的表現(xiàn)：右下角紅框放大區(qū)域展示了各方法對鎖面數(shù)字細節(jié)的保留情況，可以看出本文方法保留的數(shù)字更為清晰，每個數(shù)字都具有最好的邊緣視覺效果，更符合人眼的視覺特性；右上角綠框放大區(qū)域展示了各方法對右聚焦圖像與左聚焦圖像模糊邊界接壤處復雜紋理的融合情況，可以發(fā)現(xiàn)CSR 方法在該區(qū)域產(chǎn)生了明顯的偽影，IFCNN 和MGFF 等方法的融合結果丟失了“L”型鎖的表面細節(jié)，使得鎖面看起來非常平滑，本文方法較f-PCNN、MST 和RW 等方法具有最高的對比度，更能凸顯“L”型表面凹凸不平的細節(jié)。7 種方法在LoveLocks 圖像組上的融合結果客觀指標如表1 所示，其中，最優(yōu)值以紅色表示，次優(yōu)值以藍色表示。10 種評價指標中，除Qcv和交叉熵（CE）為越小越好外，其余均為數(shù)值越大越好?？梢钥闯?，本文方法的融合結果在10 個指標中具有3 個第一和4 個第二，在Qcv、互信息量以及交叉熵均取得了第一名，說明經(jīng)本文算法生成的融合圖像較好地保留了源圖像的細節(jié)紋理并具有更優(yōu)的視覺表現(xiàn)。

表1 LoveLocks 圖像在7 種融合算法上的客觀指標對比Table 1 Objective index comparison of LoveLocks image on seven fusion algorithms

圖10 LoveLocks 圖像融合結果對比Fig.10 LoveLocks image fusion results comparison

圖11 與圖10 具有相同的內容分布，反映了7 種算法在融合Edelweiss 圖像組時的表現(xiàn)。紅框放大部分反映了各方法對啤酒商標的細節(jié)保留情況，可以發(fā)現(xiàn)CSR、IFCNN 和RW 等方法產(chǎn)生了明顯的偽影，MGFF方法未產(chǎn)生偽影但其商標清晰度有所下降，f-PCNN、MST 和本文方法在主觀上均有較好表現(xiàn)，但從表2 中的數(shù)據(jù)可以看出本文方法具有最好的互信息量以及信息熵，說明本文方法對源圖像的信息保留程度更高。綠框放大區(qū)域反映了在面對左右聚焦圖像模糊邊界區(qū)域時，各方法對背景（天空等均勻區(qū)域）和顯著目標（教堂塔尖）的融合情況，可以看出，除RW 和本文方法外，其余5 種方法在塔尖區(qū)域均有非常明顯的偽影，進一步仔細對比可以發(fā)現(xiàn)，經(jīng)本文方法融合后的結果沒有偽影，塔尖與天空融合后的視覺效果要好于RW方法。

表2 Edelweiss 圖像在7 種融合算法上的客觀指標對比Table 2 Objective index comparison of Edelweiss images on seven fusion algorithms

圖11 Edelweiss 圖像融合結果對比Fig.11 Edelweiss image fusion results comparison

表2 反映了7 種方法在Edelweiss 圖像組上的融合結果客觀指標對比，本文方法在除Qcv和交叉熵以外的8 種指標上均取得較為優(yōu)秀的表現(xiàn)。Qcv反映了源圖像中的重要信息在融合圖像中的表示程度，由表2 可知，RW 方法和CSR 方法的Edelweiss 融合結果在Qcv指標上取得了良好的成績，但在圖11 中的紅框放大區(qū)域，可以看出RW 方法和CSR 方法的融合結果具有明顯的偽影，推測正是因為這些偽影導致Qcv值的異常。

為了使7 種方法融合結果指標對比更為公正客觀，對10 組融合結果的評價指標求平均值，如表3 所示。由表3 可知，本文算法在4 類客觀指標中均有較好表現(xiàn)，在空間頻率、Qcb、互信息量、信息熵、邊緣強度和交叉熵這6 個指標中取得了最優(yōu)值，其中空間頻率和互信息量表現(xiàn)尤為突出，說明經(jīng)本算法生成的全聚焦圖像具有更清晰的細節(jié)和紋理且對重聚焦圖像具有更強的信息保留能力。本文算法在剩下4 個指標中均為次優(yōu)值，其中，MGFF 方法雖然具有最高的方差，但在3 個視覺指標中的表現(xiàn)較差，這可能是由于MGFF 方法所產(chǎn)生的融合圖像會在邊界處會產(chǎn)生偽影，從而導致其方差虛高；兩個視覺指標Qcv和Qabf與最優(yōu)指標非常貼近且遠高于排名第三的指標。綜上所述，經(jīng)本文算法生成的多聚焦圖像與其他6 種方法相比具有清晰度高、視覺效果優(yōu)秀、圖像對比度高等特點。

表4 給出了7 種方法在10 組多聚焦融合實驗中所需要的平均時間成本?？梢钥闯?，MST、MGFF 以及IFCNN 三種方法均具有較低的時間成本，但在客觀指標上的表現(xiàn)卻不佳：MST 方法具有最低的時間成本，但僅取得了空間頻率次優(yōu)的成績，MGFF 方法僅在方差上獲得了最優(yōu)值，IFCNN 方法在10 項客觀指標中均表現(xiàn)平庸。本文方法的時間成本低于CSR 方法和f-PCNN 方法，綜合看來，本文方法取得了良好的融合效果，但是由于引入核主成分分析對各層特征系數(shù)進行融合從而導致了時間成本較高。

表4 7 種融合算法的平均時間成本Table 4 Average time cost of seven fusion algorithms

4 結論

本文提出了一種基于多尺度潛在低秩分解的光場全聚焦圖像融合方法。通過對4D 光場圖像進行數(shù)字重聚焦，將焦點聚集到圖像中的各個目標上從而得到重聚焦圖像，然后將重聚焦圖像作為輸入圖像來實行全聚焦融合。本文引入多尺度潛在低秩分解對重聚焦圖像進行分解，使用局部雙區(qū)域梯度差值加權平均算法和可迭代引導濾波視覺顯著性提取算法來計算各層特征信息，最后使用基于核主成分分析的特征系數(shù)融合算法生成聚焦決策圖并引導全聚焦圖像的生成。實驗結果表明，經(jīng)本文方法生成的光場全聚焦圖像具有良好的視覺效果以及更高的空間分辨率；與近年提出的基于傳統(tǒng)或深度學習的多聚焦圖像融合算法相比，本文算法在所選4 類客觀評價指標中均有良好表現(xiàn)，驗證了其有效性。實驗過程中選用灰度圖像作為輸入圖像，目的是為了減少計算量和時間成本，本文算法也同樣適用于彩色光場圖像的全聚焦融合。此外，該算法也存在不足之處，在各重聚焦圖像聚焦邊界區(qū)域的處理上，僅采用引導濾波對其進行平滑融合，并未做出進一步的優(yōu)化，今后將對模糊邊界區(qū)域的融合規(guī)則進行研究，使生成的全聚焦圖像具有更好的視覺表現(xiàn)。