周 萌，黃章進(jìn)

（中國科學(xué)技術(shù)大學(xué) 計算機(jī)科學(xué)與技術(shù)學(xué)院，合肥 230027）

0 引言

在計算機(jī)視覺領(lǐng)域，從機(jī)器人到虛擬現(xiàn)實、從三維重建到自動駕駛，深度信息在各自的任務(wù)中都扮演著重要的角色。最近，隨著手持式便攜設(shè)備的普及，越來越多的圖像應(yīng)用不再滿足于簡單的色相、對比度、亮度的調(diào)整，先拍照后對焦的功能極大地依賴于場景深度。因此，高效地獲取高質(zhì)量的深度具有重要的現(xiàn)實意義。

近年來，基于學(xué)習(xí)的單目深度估計取得了很大進(jìn)展，能直接從單幅圖像中預(yù)測深度［1-4］，但是該方法需要大量數(shù)據(jù)進(jìn)行訓(xùn)練，并且嚴(yán)重依賴圖像的語義信息。因此當(dāng)圖像中出現(xiàn)鏡子等反光物體時，不能很好地估計深度。雙目以及多目深度估計［5-7］利用一組圖片以及相機(jī)位置，將像素從相機(jī)空間投影到帶有約束的世界空間以獲取深度信息。相較于單目估計，雙目以及多目估計的深度準(zhǔn)確率更高，但是硬件成本也更高。無監(jiān)督單目深度估計［8-11］則利用視頻流信息，將相鄰的多個數(shù)據(jù)幀看作不同相機(jī)視角下拍攝的圖像，然后利用像素點之間的視差獲取深度，它的預(yù)測深度與有監(jiān)督的方法相比還有一定的差距。雖然可以用具有特殊傳感器的硬件設(shè)備（如Kinect 深度相機(jī)）直接獲取較精確的場景深度，但是這類方法也存在運算較慢、受場景限制大、成本高等問題。

相比結(jié)合語義的深度估計技術(shù)的蓬勃發(fā)展，利用焦點堆棧來探索失焦模糊和深度之間關(guān)聯(lián)性的研究則相對較少。焦點堆棧是利用透鏡成像原理在不同對焦距離下拍攝的一組照片，顯式地編碼了物體距離與深度之間的關(guān)系，圖1 展示了物體距離和模糊圓半徑的關(guān)系：當(dāng)相機(jī)的對焦距離一定時，物體距離相機(jī)越遠(yuǎn)，所成的像越模糊；近距離也是如此，只有當(dāng)物體恰好位于對焦距離時，所成的像最清晰。物體到相機(jī)距離的遠(yuǎn)近可以很直觀地體現(xiàn)在所成像的模糊程度上，因此能通過圖像的模糊程度來估計深度。由于模糊信息與語義無關(guān)，這意味著該類方法訓(xùn)練所需的數(shù)據(jù)量與基于語義的方法相比要小得多。Suwajanakorn 等［12］證明僅使用手機(jī)就可獲取訓(xùn)練所需要的數(shù)據(jù)。

圖1 失焦模糊示意圖Fig.1 Schematic diagram of defocus blur

對于焦點堆棧深度估計，傳統(tǒng)的解析方法可以直接計算像素點的清晰程度來判斷物體的“最佳對焦”位置，然后根據(jù)位置估計深度。焦點堆棧是從有限的對焦距離中采樣獲得，如果數(shù)量較少的話，“最佳對焦”的定位會出現(xiàn)較大的離散誤差，導(dǎo)致深度估計不準(zhǔn)確。基于解析的方法一般要求焦點堆棧有足夠的圖片數(shù)量（通常大于20）；同時圖像清晰程度通常是紋理敏感的，因此該方法也無法準(zhǔn)確估計無紋理區(qū)域的深度。而基于學(xué)習(xí)的方法則可以很好地緩解上述問題。Maximov 等［13］將焦點堆棧中的5 張圖片分別輸入不同的網(wǎng)絡(luò)分支獲取失焦程度，然后利用失焦程度預(yù)測深度；但是網(wǎng)絡(luò)各分支僅關(guān)注單張圖片，依靠全局池化獲取全局信息，無法很好地利用深度方向的特征變化。Wang 等［14］設(shè)計了一個使用注意力機(jī)制的類U-Net 來同時預(yù)測全對焦圖片和深度圖；這種較大的模型提高了精度，但也降低了推理速度。Fujimura 等［15］借鑒傳統(tǒng)的解析式方法，利用梯度信息構(gòu)建焦點體預(yù)測深度，然而引入較多的透鏡成像先驗知識會造成焦點體的構(gòu)建相對復(fù)雜，并且沒有充分利用焦點堆棧的空間特性。

針對上述問題，本文提出一種基于學(xué)習(xí)的DFD（Depth From Defocus）模型。不同于使用多分支二維卷積網(wǎng)絡(luò)的模型［13］，DFD 模型使用簡單的三維感知架構(gòu)沿三個維度同時捕捉焦點堆棧的特征，模型更輕量，擴(kuò)展性也更好。受基于學(xué)習(xí)的焦點堆棧深度估計工作［16］的啟發(fā)，本文模型在利用焦點體的基礎(chǔ)上考慮了焦點堆棧的模糊歧義性，將焦點堆棧模糊歧義性和焦點體相結(jié)合，使焦點體通過一個多尺度卷積網(wǎng)絡(luò)預(yù)測分層深度概率，與分層深度加權(quán)后得到深度圖。

1 相關(guān)工作

1.1 從對焦中估計深度DFF

基于對焦的方法需要掃描不同的焦點平面以獲取一系列圖片，然后找到每一個小塊圖像的“最佳對焦”位置，從對焦距離中恢復(fù)出深度。然而DFF（Depth From Focus）是一個不適定的問題，因為它并沒有包含所有的情況。對于一些紋理比較少的區(qū)域，在焦點堆棧中可能呈現(xiàn)出相同的清晰度，實踐上通常使用較強的正則化緩解這樣的情況，但是會造成估計的深度過度平滑。Hazirbas 等［17］首次將卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）強大的特征提取能力運用到焦點堆棧深度估計中，利用經(jīng)典的編碼器-解碼器結(jié)構(gòu)直接預(yù)測深度，取得了不錯的效果。受此啟發(fā)，Ceruso 等［18］結(jié)合孿生網(wǎng)絡(luò)［19］和多尺度卷積網(wǎng)絡(luò)預(yù)測相對深度；Yang等［16］將焦點堆棧和對焦距離嵌入可微的焦點體中，實現(xiàn)了更好的性能；Wang 等［14］利用自注意力機(jī)制［20］同時預(yù)測深度圖和全對焦圖像。雖然深度學(xué)習(xí)的發(fā)展使基于DFF 的網(wǎng)絡(luò)模型不斷更新，預(yù)測精度也有了很大進(jìn)步，但是大多數(shù)的方法仍然使用基于語義的特征提取方式，沒有考慮焦點堆棧自身的空間特性。

1.2 從失焦中估計深度DFD

相較于利用焦點堆棧的清晰度這種直接的方式，從失焦圖片中獲得深度更復(fù)雜。失焦模型建立在高斯成像公式上，當(dāng)傳感器配置給定時，物體成像的模糊性會隨著物距的變化而改變，所以深度估計問題轉(zhuǎn)化為對圖像各像素模糊量的判定，這也是一個有挑戰(zhàn)性的問題。Nayar 等［21］假設(shè)模糊量符合高斯分布，將具有紋理的光源照射到實際物體，然后利用定制的相機(jī)在兩個光路分別進(jìn)行對焦，將獲得的具有不同模糊程度的失焦圖轉(zhuǎn)換到頻域后獲得了像素的深度，該方法雖然能到達(dá)實時的效果，但是成本較高，并且無法消除高頻噪聲，所以很難實際應(yīng)用；Srinivasan 等［22］使用失焦模糊訓(xùn)練了一個專門用于單目深度估計的網(wǎng)絡(luò)；Carvalho 等［23］將室內(nèi)失焦深度估計拓展到自然條件下；Maximov 等［13］先在合成數(shù)據(jù)上訓(xùn)練，然后在真實數(shù)據(jù)集上微調(diào)，縮小了數(shù)據(jù)集之間的領(lǐng)域差異，但是模型的可擴(kuò)展性較弱；Galetto 等［24］訓(xùn)練了一個兩階段模型，首先利用一個簡單的網(wǎng)絡(luò)訓(xùn)練出圖塊模糊程度分類器，然后利用迭代式引導(dǎo)濾波預(yù)測出失焦圖；Fujimura等［15］將失焦模型融入焦點體（Focus Volume），利用多尺度卷積預(yù)測深度，取得了很好的效果，但是模型構(gòu)建比較耗時。

2 本文方法

本文方法將輕量化的3D 感知網(wǎng)絡(luò)與失焦模糊的非線性特征相結(jié)合，同時利用分層的概率值來預(yù)測高質(zhì)量的深度，圖2 展示了焦點堆棧深度預(yù)測的總體框架。

圖2 本文方法的總體框架Fig.2 Overview framework of the proposed method

2.1 失焦模糊原理

從失焦圖片中估計深度建立在有效判斷圖像塊的模糊程度上。度量模糊程度常用的方式是將點擴(kuò)散函數(shù)建模成圓形的高斯模糊，不同的模糊核的大小代表了不同的模糊程度。從高斯薄透鏡成像公式以及相似關(guān)系（見圖1），可以推導(dǎo)出模糊半徑b和物體距離do之間的關(guān)系：

其中：D為光圈直徑；ds為鏡頭到傳感器的距離；f為焦距；p為像素大小。

圖3 直觀地展示了模糊半徑與物體距離之間的關(guān)系。在不同的對焦距離df下，模糊半徑隨著物體距離的增加呈現(xiàn)出先減小后增加的趨勢。當(dāng)物體距離較小時，物體距離在模糊半徑的影響因素中占主導(dǎo)；當(dāng)物體距離比較大時，物體距離的影響會逐漸減弱直至消失，此時的模糊半徑會趨近于常數(shù)b*：

圖3 不同對焦距離下模糊半徑與物體距離的關(guān)系Fig.3 Relationship between blur radius and object distance under different focus distance

可以推導(dǎo)出模糊半徑變化| Δb|與物體距離do間的關(guān)系：

當(dāng)對焦距離df=0.3 m，物體距離增量Δdo=0.1 m 時，模糊半徑的變化僅與物體距離有關(guān)。焦點堆棧在對焦距離附近會出現(xiàn)強烈模糊的變化，直觀上往往表現(xiàn)出一定范圍的景深，當(dāng)物體超過了景深范圍，它的模糊程度的變化幾乎是肉眼不可見的，如圖4 所示。

圖4 模糊變化和物體距離間的關(guān)系Fig.4 Relationship between blur variation and object distance

與模糊梯度在深度s方向上的劇烈變化不同，語義梯度在平面xy方向上的變化更穩(wěn)定。以DefocusNet 數(shù)據(jù)集［13］中某一場景為例，焦點堆棧沿x、y、s方向的平均梯度如圖5 所示。xy方向上的梯度幾乎不隨對焦距離增加而變化；而s方向上的梯度隨著對焦距離的增加急劇下降，并且在大小上與xy梯度相差超過3 個數(shù)量級。焦點堆棧模糊梯度和語義梯度的顯著差異使模糊特征提取部分需要更精細(xì)地設(shè)計。

圖5 焦點堆棧沿不同方向的每個像素的平均梯度Fig.5 Average gradient of each pixel with different directions of focal stack

2.2 特征粗提取

傳統(tǒng)的Inception 網(wǎng)絡(luò)［25］在多個不同的尺度下對輸入特征進(jìn)行提取，在計算量和有效性上得到了比較好的平衡。本文基于以下考慮將Inception 網(wǎng)絡(luò)擴(kuò)展到了三維：和沿圖像的平面維度進(jìn)行特征提取不同，焦點堆棧的特征提取會多一個維度，焦點堆棧本身的特性決定了它在深度維度上的模糊變化不是簡單的線性疊加（如圖5 中s方向），所以無法用2D 卷積刻畫這種非線性特點。而從局部上來看，模糊變化又是線性的，所以更適合用卷積核深度尺寸可變的3D 卷積捕捉相應(yīng)的特征。另一點是，因為模糊變化相比平面語義變化要小得多，直接將2D 卷積應(yīng)用到焦點堆棧上進(jìn)行特征提取無法很好地區(qū)分語義特征和失焦模糊特征，所以層與層之間模糊特征提取也應(yīng)該被細(xì)粒度地考慮。綜合以上兩點，將3D 感知應(yīng)用到焦點堆棧時，卷積核使用了較小的深度偏移量，目的是捕捉微小的模糊量變化。

本文設(shè)計的三維（3D）感知模塊使用了一個4 層的網(wǎng)絡(luò)來完成焦點堆棧的高頻噪聲過濾和初步特征提取，如圖6 所示。3D 感知模塊僅保留局部池化而拋棄了全局池化層，因為本文方法重點關(guān)注模糊程度的變化而不是圖像的語義信息，全局池化層的引入可能會丟失這些細(xì)微的差別，而這對于那些變化很小的焦點堆棧而言至關(guān)重要。為了讓網(wǎng)絡(luò)能夠?qū)W到這一點，在后續(xù)的整個網(wǎng)絡(luò)設(shè)計中都遵從了這一原則。需要注意的是，除了模型輕量化以及噪聲過濾，采用比較少的網(wǎng)絡(luò)層數(shù)提取特征是為了讓模型能盡可能保留原始的RGB 特征。3D 感知模塊的特征提取網(wǎng)絡(luò)簡單但是有效，消融實驗證實了這一點。

圖6 3D感知模塊Fig.6 3D perception module

2.3 焦點體構(gòu)建

由3D 感知模塊提取的模糊特征可以直接預(yù)測深度。然而，對于透鏡成像系統(tǒng)，深度到模糊量是多對一的映射，無法依據(jù)模糊程度來判斷對象與焦點平面的前后關(guān)系。圖7（a）為真實場景下焦點平面B 以及附近具有相同模糊程度的平面A 和平面C；圖7（b）是對應(yīng)的模糊半徑和物體距離的關(guān)系曲線，A、B、C 分別為對應(yīng)平面的局部放大圖。由于模糊半徑和物體距離之間的非線性關(guān)系，在焦點平面B 的近端和遠(yuǎn)端會引入歧義，兩個不同距離的平面A 和C 存在相同的模糊半徑。直接使用原始的模糊特征不一定會帶來良好的性能，如果不對特征加以區(qū)分，焦點平面一側(cè)的模糊程度容易被錯誤地解釋到另一側(cè)，使模型無法學(xué)習(xí)到對應(yīng)深度的模糊特征。

圖7 焦點平面附近的模糊歧義性Fig.7 Blur ambiguity near focal plane

從3D 感知模塊得到的模糊特征在預(yù)測深度時具有二義性，這對于網(wǎng)絡(luò)的學(xué)習(xí)是不利的。Kashiwagi 等［26］在真實數(shù)據(jù)集上做了大量關(guān)于點擴(kuò)散函數(shù)畸變的實驗，即使是相同的模糊量，RGB 強度對深度的響應(yīng)也不一樣，近端按B-G-R 強度依次減弱，且中間的強度會小于兩端的強度；遠(yuǎn)端按B-RG 依次減弱，中間的強度則會比兩端大。這一特點使利用RGB 三通道不同的差分值來判斷深度成為可能。

常規(guī)的差分特征構(gòu)建方式是沿平面x、y方向以及深度s三個方向進(jìn)行差分然后級聯(lián)（Diff-sxy），目的是提取不同方向上的特征差異。本文為了獲得焦點平面兩端不同的強度變化模式，直接對RGB 通道中的其中兩個求差分然后進(jìn)行級聯(lián)（Diff-RGB）。具體的構(gòu)建細(xì)節(jié)見圖8，首先使用一個簡單3D 卷積網(wǎng)絡(luò)對焦點堆棧進(jìn)行過濾，然后利用式（4）提取RGB通道的差分信息，最后經(jīng)過一個下采樣層得到最后的RGB差分特征。

圖8 通道差分模塊Fig.8 Channel difference module

其中：IRGB表示融合后的RGB 通道差分；Featurei代表輸入特征的不同顏色維度。

焦點體的主要作用如下：1）保留焦點堆棧各層次間細(xì)微的模糊變化差異，即模糊量特征；2）在相同的模糊量下顯式編碼RGB 通道對深度的響應(yīng)。因此，本文設(shè)計了一個RGB通道模式融合的焦點體用來有效地捕捉肉眼不可見的特征差異，具體是將通道差分模塊提取的RGB 差分特征與3D 感知模塊提取的模糊特征進(jìn)行融合，即構(gòu)建出編碼了焦點堆棧模糊歧義性的焦點體。

2.4 分層深度預(yù)測

在使用焦點體進(jìn)行深度預(yù)測時，采用一種分層的策略以減少深度預(yù)測過程中的不確定性。這一策略是受焦點堆棧本身對焦距離分層的特性的啟發(fā)，在焦點堆棧中，每一張圖片都在固定的對焦距離下拍攝，隱含了對應(yīng)的深度信息。單通道深度同樣也可以按深度分層，這樣就轉(zhuǎn)變?yōu)閷Χ嗌疃韧ǖ栏怕实念A(yù)測。

預(yù)測網(wǎng)絡(luò)首先對焦點體分別進(jìn)行2、4、8、16、32 倍的下采樣；然后利用3D 卷積獲得了5 個不同分辨率下的特征圖；之后使用轉(zhuǎn)置卷積進(jìn)行上采樣，除了第一層，其余的轉(zhuǎn)置卷積層的輸入都級聯(lián)了來自上一層的特征圖；最后輸出各深度層的概率。具體的編碼器-解碼器網(wǎng)絡(luò)見圖9。

圖9 編碼器-解碼器網(wǎng)絡(luò)Fig.9 Encoder-decoder network

整個網(wǎng)絡(luò)預(yù)測的深度圖depth是由各深度層的概率值layeri與對應(yīng)的深度層di進(jìn)行加權(quán)求和得到：

其中：深度分層的層數(shù)N=30；深度層di=i。

3 實驗與結(jié)果分析

3.1 實驗細(xì)節(jié)

本文使用PyTorch 1.10.2 實現(xiàn)所提出模型，并在10 GB顯存的NVIDIA 3080 上使用Adam 優(yōu)化器（學(xué)習(xí)率lr=0.000 1，β1=0.9，β2=0.999）以及L1 損失對模型進(jìn)行優(yōu)化。使用隨機(jī)裁剪、隨機(jī)旋轉(zhuǎn)、隨機(jī)水平翻轉(zhuǎn)以及隨機(jī)亮度對比度伽馬值變換進(jìn)行數(shù)據(jù)增強，避免過擬合。所有實驗都采用了固定的隨機(jī)種子，訓(xùn)練500 輪。

本文使用兩個有標(biāo)注的數(shù)據(jù)集DefocusNet［13］和NYU Depth V2［23］作定量比較，使用一個沒有標(biāo)注的數(shù)據(jù)集Mobile Depth［12］作定性分析，隨后在DefocusNet［13］上對模型的重要模塊進(jìn)行消融實驗。

實驗采用7 個廣泛使用的評估指標(biāo)以及2 個尺度無關(guān)評估指標(biāo)：平均絕對誤差（Mean Absolute Error，MAE）、平均平方誤差（Mean Square Error，MSE）、均方根誤差（Root Mean Square error，RMS）、對數(shù)均方根誤差（logarithmic Root Mean Square error，logRMS）、絕對相對誤差（absolute Relative error，absRel）、平方相對誤差（square Relative error，sqrRel）、推理時間、尺度不變誤差（scale-invariant error，sc-inv）和仿射縮放平移不變誤差（affine（scale and shift）-invariant error，ssitrim）。

3.2 數(shù)據(jù)集介紹

DefocusNet［13］合成數(shù)據(jù)集：包含400 個訓(xùn)練樣本和100 個測試樣本，每個樣本包含一組已知對焦距離的5 張圖片的焦點堆棧以及對應(yīng)的深度圖，圖像的分辨率為256×256，深度范圍是0～3 m。

NYU Depth V2［23］真實數(shù)據(jù)集：官方劃分包含795 對訓(xùn)練樣本和654 對測試樣本，圖像分辨率為640×480，深度范圍0～10 m。利用Carvalho［23］提供的分層重建方法對樣本重對焦，對焦距離分別為2、4、8 m，每個樣本隨機(jī)裁剪出10 張256×256 大小的圖片，生成7 950 和6 540 個訓(xùn)練樣本、測試樣本。

Mobile Depth［12］：真實數(shù)據(jù)集，包含鍵盤、瓶子、水果等13個場景，相應(yīng)的焦點堆棧均使用手機(jī)拍攝后期對齊的方式獲得，由于沒有真實的深度值，此數(shù)據(jù)集僅用于定性評估。

3.3 對比實驗

將本文方法與較新的方法DefocusNet［13］、AiFDepthNet（All in Focus Depth Network）［14］、文獻(xiàn)［15-27］方法進(jìn)行比較，它們的結(jié)果均是在同樣的預(yù)處理條件下通過重新運行公開的代碼生成。

1）性能指標(biāo)對比。文獻(xiàn)［27］方法為兩階段方法，本文僅采用它的深度估計部分進(jìn)行訓(xùn)練。如表1 所示，本文方法在DefocusNet 數(shù)據(jù)集的7 個深度預(yù)測指標(biāo)上均優(yōu)于對比方法；在NYU Depth V2 數(shù)據(jù)集上，4 個指標(biāo)取得了最優(yōu)，有3 項指標(biāo)稍弱于DefocusNet 方法。主要原因是當(dāng)合成的焦點堆棧數(shù)量較少時，相機(jī)配置更重要，而本文方法并沒有使用對焦距離等相機(jī)參數(shù)。總體上看，本文方法在兩個不同類型的數(shù)據(jù)集的多個指標(biāo)上均取得最優(yōu)或次優(yōu)的結(jié)果，這得益于特征粗提取模塊和焦點體構(gòu)建模塊的設(shè)計，它們使焦點堆棧特征表示更有效，模型預(yù)測更準(zhǔn)確；同時，輕量化的設(shè)計使本文方法在兩個數(shù)據(jù)集上的推理時間縮短了43.92%～70.20%和47.91%～77.01%。

表1 不同方法在兩個數(shù)據(jù)集上的結(jié)果Tab.1 Results of different methods on two datasets

2）泛化性能對比。表2 列出了在DefocusNet 數(shù)據(jù)集上訓(xùn)練，在NYU Depth V2 數(shù)據(jù)集上測試的結(jié)果，對比的數(shù)據(jù)直接從文獻(xiàn)［15］中獲取。按照文獻(xiàn)［15］中的實驗設(shè)置，訓(xùn)練集采用了DefocusNet 的子集，并且對訓(xùn)練集和測試集的真實深度進(jìn)行了縮放。本文方法在MAE、RMS 和sc-inv 上取得了最優(yōu)。由于sc-inv 是縮放無關(guān)的，在這一項指標(biāo)上的顯著優(yōu)勢表明本方法能夠有效預(yù)測不同深度范圍的對象。

表2 不同方法在DefocusNet數(shù)據(jù)集上訓(xùn)練，在NYU Depth V2數(shù)據(jù)集上測試的結(jié)果Tab.2 Results of different methods training on DefocusNet dataset and testing on NYU Depth V2 dataset

3）參數(shù)量以及速度對比。與AiFDepthNet［14］的16 MB 參數(shù)量相比，本文的輕量化模型僅有3.3 MB。即使堆棧數(shù)量變大，模型也并不會像DefocusNet［13］一樣同步增加模型參數(shù)和計算成本，僅僅只是計算量上的變化，在骨干網(wǎng)絡(luò)的設(shè)計上是很大的改進(jìn)。由于網(wǎng)絡(luò)模型的輕量化，本文方法在推理速度上占據(jù)更大的優(yōu)勢。如表1 所示，在DefocusNet 數(shù)據(jù)集上，本文方法的推理時間相較于AiFDepthNet、DefocusNet 以及文獻(xiàn)［27］方法分別減少了70.3%、65.8%和43.9%；在NYU Depth V2 數(shù)據(jù)集上則分別減少了77.0%、64.9% 和47.9%，能夠滿足實時性要求。

4）定性比較。將本文方法在Mobile Depth 數(shù)據(jù)集［12］上和AiFDepthNet、DefocusNet 以及文獻(xiàn)［27］方法進(jìn)行定性比較，結(jié)果如圖10 所示?？梢钥闯?，AiFDepthNet 預(yù)測的深度顏色變化不明顯，說明它預(yù)測的深度值普遍較小；文獻(xiàn)［27］方法相比AiFDepthNet 在中等距離預(yù)測更準(zhǔn)確，但是在部分遠(yuǎn)距離區(qū)域會出現(xiàn)嚴(yán)重誤差；和DefocusNet 相比，本文方法在深度預(yù)測的平滑性上更好，出現(xiàn)深度值突變的情況要少得多，這一點在圖像1 中的小球附近表現(xiàn)得尤其明顯。定性比較表明，本文方法預(yù)測的深度層次感更強，更加準(zhǔn)確。

圖10 Mobile Depth數(shù)據(jù)集上的深度預(yù)測可視化比較Fig.10 Visual comparison of depth predictions on Mobile Depth dataset

3.4 消融實驗

分別對焦點堆棧的層數(shù)、特征提取網(wǎng)絡(luò)的架構(gòu)、焦點體的構(gòu)建模式以及深度預(yù)測的輸出方法進(jìn)行消融實驗來評估它們對模型的貢獻(xiàn)。實驗結(jié)果如表3 所示。

表3 在DefocusNet數(shù)據(jù)集上的消融實驗結(jié)果Tab.3 Results of ablation experiments on DefocusNet dataset

1）焦點堆棧層數(shù)的影響。圖11 顯示了本文方法在Mobile Depth 數(shù)據(jù)集上不同焦點堆棧層數(shù)的性能評估結(jié)果。由于沒有真實深度值，所有用于評估的深度來自文獻(xiàn)［12］中的模型的估計值。當(dāng)焦點堆棧層數(shù)較少時，性能迅速下降；而在層數(shù)較多時，性能影響并不明顯。這說明本文方法在焦點堆棧數(shù)量足夠時，能有效提取到模糊變化特征；而在圖片數(shù)量較少時，僅依靠圖像語義信息無法有效估計圖像深度。

圖11 在Mobile Depth數(shù)據(jù)集上的焦點堆棧層數(shù)性能評估Fig.11 Performance evaluation of focal stack layers on Mobile Depth dataset

2）特征提取架構(gòu)的影響。在實驗1、2 中比較了不同的特征提取模塊，一個是共享權(quán)重的孿生網(wǎng)絡(luò)［19］，使用2D 卷積；另一個是本文設(shè)計的輕量3D 感知網(wǎng)絡(luò)。與本文網(wǎng)絡(luò)相比，使用孿生網(wǎng)絡(luò)時性能出現(xiàn)了下降，說明3D 卷積能更細(xì)粒度地提取焦點堆棧的特征。

3）焦點體構(gòu)建模式的影響。在實驗2、4、5 中，使用3 個不同的焦點堆棧構(gòu)建模式：Naive 代表上一模塊輸出的原始特征；Diff-sxy代表原始特征和沿深度s、x、y三個方向的差分特征的結(jié)合；Diff-RGB 代表原始特征與編碼了模糊歧義性RGB 特征模式的差分特征的結(jié)合。以Naive 的方法作為基線，使用常規(guī)的三通道差分Diff-sxy時預(yù)測的深度值得到了改進(jìn)；使用本文的Diff-RGB 方法來構(gòu)建焦點體時，性能得到大幅提升，說明本文方法確實能夠辨別焦點堆棧的模糊歧義性，從而提升深度估計性能。

4）深度預(yù)測輸出方法的影響。在實驗3 中，DO（Direct Output）代表將編碼器-解碼器模塊預(yù)測的分層概率經(jīng)過一個全連接層后直接輸出預(yù)測深度。實驗2 中，Layered 表示對分層概率layeri與對應(yīng)的深度層di進(jìn)行加權(quán)求和得到預(yù)測的深度圖。相較于直接輸出深度的實驗3，采用Layered 的實驗2 的MAE 減少了63.3%，這說明對深度預(yù)測進(jìn)行分層適應(yīng)了焦點堆棧本身的分層特性，有利于提升模型性能。

4 結(jié)語

本文針對模糊變化量小以及模糊歧義性的問題，提出了一個新的網(wǎng)絡(luò)架構(gòu)來預(yù)測焦點堆棧的深度，主要利用焦點堆棧本身的空間特性，通過3D 感知細(xì)粒度提取模糊特征；焦點體融合RGB 深度響應(yīng)模式；多尺度編解碼器輸出分層概率。實驗結(jié)果表明，本文方法不僅能預(yù)測有競爭力的深度，同時推理速度上也有顯著提升，而且模型還相對輕量。在未來的工作中，計劃將工作擴(kuò)展到無監(jiān)督領(lǐng)域。