路 晶

(中國民用航空飛行學院計算機學院，廣漢 618307)

深度恢復是計算機視覺的一項基本任務，高質(zhì)量的深度圖為場景重建、飛行自主駕駛等許多計算機視覺任務提供了必要的三維信息[1-2]。雖然高質(zhì)量的紋理或顏色信息可以很容易地被流行的彩色相機捕獲，但對于主流的深度傳感器來說，其獲得的深度圖不可避免地會受到各種退化的影響，如低分辨率、深度缺失或充滿噪聲等[3]。深度恢復任務的目標是從退化深度測量中恢復高質(zhì)量的深度圖。

深度恢復方法一般包括局部濾波方法和全局優(yōu)化方法。Tanveer等[4]定義了一個廣義濾波器，通過考慮制導圖像的內(nèi)容來計算濾波輸出，從而導出一個像雙邊濾波器的邊緣保持平滑算子。王瑞等[5]提出了一種具有簡單濾波方法靈活性和速度的邊緣感知平滑算法。盡管局部濾波方法簡單有效，但短視局部判斷通常不能提供足夠的信息來捕捉全局結(jié)構(gòu)。相比之下，全局優(yōu)化方法將深度恢復任務描述為一個包含數(shù)據(jù)項和正則化項的優(yōu)化模型。李波等[6]提出了一個馬爾可夫隨機場(Markov random field，MRF)模型，用于整合低分辨率深度圖和高分辨率彩色圖。Wang等[7]將正則化項建模為二階全廣義變分正則化，并對非各向異性擴散張量進行加權(quán)以指導上采樣。交替方向乘子法(alternating direction method of multipliers，ADMM)是一種常用的算法，它通過引入輔助變量和拉格朗日乘子，將原來的復雜優(yōu)化問題分解為一系列簡單的子問題[8]。Yan等[9]提出的增廣拉格朗日多重乘子方法通過在目標函數(shù)中添加二次罰項和拉格朗日乘子，將約束優(yōu)化問題替換為一系列無約束問題。盡管取得了上述進展，但仍舊存在幾個懸而未決的問題：一是上述方法側(cè)重于尋找深度圖的先驗知識，但沒有充分挖掘深度信號的本質(zhì)特征；二是凸懲罰函數(shù)和非凸懲罰函數(shù)都有其固有的缺陷。即凸懲罰函數(shù)不足以產(chǎn)生稀疏性。而非凸懲罰函數(shù)容易獲得局部最優(yōu)解；三是在實際應用中深度-顏色相關(guān)性無法充分得到利用。

為了解決上述問題，現(xiàn)提出一種基于Moreau包絡與迭代重加權(quán)策略的圖像深度恢復方法?；贛oreau包絡的非凸懲罰函數(shù)能夠提高模型的先驗稀疏性，同時保持模型的凸性，提出的加速算法能夠處理非均勻下采樣問題。最后數(shù)據(jù)集實驗結(jié)果證明本文方法的有效性。

1 提出的方法

1.1 深度觀測模型

(1)

式(1)中：K為觀測矩陣；n為加性高斯白噪聲。在不同的情況下，不同的降級可能會作為組合類型出現(xiàn)在捕獲的深度圖中，并且可以由觀測矩陣K表示。

1.2 深度表示模型

根據(jù)觀察，一般三維場景的深度圖主要包含曲線分隔的光滑區(qū)域，這種形式的二維數(shù)據(jù)滿足以下情況：在近似分段常數(shù)信號重疊時，存在一個相對緩慢變化的多項式信號。隨機地從捕獲的深度圖像中提取一個深度塊，并添加方差為25的高斯噪聲。分解成分和恢復結(jié)果分別用藍色區(qū)域和紅色區(qū)域表示。深度塊可以在強噪聲下成功分解為低階多項式曲面和分段常數(shù)分量，揭示了深度圖的潛在可分解結(jié)構(gòu)。因此，在每個分量上進行正則化的圖像分解模型可以很好地描述此類二維信號。深度觀測模型可以描述為

f=K(x+z)+n

(2)

所提出的圖像分解模型形式為

Es(x)+Ep(z)

(3)

式(3)中：等號右側(cè)第一項為數(shù)據(jù)一致性項，第二項和第三項分別為懲罰x和z的正則化項；標量μ為平衡數(shù)據(jù)項的相對信度。對分段常數(shù)分量x的稀疏懲罰Es定義為

(4)

式(4)中：Hl為由某些濾波算子構(gòu)成的濾波矩陣；φl:Rn→R為在某些變換中先于約束x的稀疏性的信號域。僅使用稀疏項的懲罰有利于常數(shù)解，這使得恢復的深度圖像變成一個像卡通圖像一樣的分段恒定的表面，從而導致某些對象的深度估計不準確。因此，有必要將帶有稀疏懲罰的多項式擬合項集成到統(tǒng)一模型中，以解決上述問題。

通常，多項式平滑使用最小二乘法來擬合多項式曲面消除噪聲影響，因此，使用它近似于多項式分量表示為

(5)

式(5)中：δ為加權(quán)參數(shù)；P為預定義的Vandermonde矩陣；t為多項式系數(shù)的向量。設z=(z1,z2,…,zN)T是一個N維向量，則

(6)

式(6)中：d為多項式的次數(shù)。二階多項式逼近d=2，足以擬合深度塊的多項式分量。

1.3 深度恢復的稀疏性

為提出的模型(3)設計一個正則化項是為了利用非凸懲罰函數(shù)來促進先驗稀疏性，同時為每個變量保持整個模型的凸性。設D為局部有限差分算子，D=[D1;D2]表示水平和垂直方向上的一階有限差分算子。提出的稀疏促進先驗定義為

Es(x)=ψα(x)=‖Dx‖1-Sα(x)

(7)

式(7)中：Sα(x)為Moreau包絡，表達式為

(8)

式(8)中：α為權(quán)重參數(shù)，α>0。ψα(x)滿足以下不等式：

0≤ψα(x)≤‖Dx‖1，?x

(9)

如果將K假定為同一矩陣，則可以將Sα(x)視為變量v的降噪器。一旦獲得v，Sα(x)就被轉(zhuǎn)換為一個誤差項，該誤差項主要包括兩個分量，即深度不連續(xù)處的大梯度以及x與降噪后的v之間的噪聲。當從‖Dx‖1中減去Sα(x)時，ψα(x)僅解決那些梯度誤差。在式(6)中排除了大部分深度不連續(xù)的梯度，避免了對深度邊界的懲罰，間接促進了先驗稀疏性。具有稀疏性先驗的模型為

(10)

式(10)對于每個變量在條件0 <α≤μ時都是凸的，盡管懲罰函數(shù)是非凸的。

命題1(凸性)。令μ>0，α>0，δ>0，多元函數(shù)E(x,z)：Rn×Rn→R被定義為

(11)

式(11)中：ψα(x)由式(6)給出。如果0<α≤μ，則E(x,z)分別對于x和z都是凸的。

證明：首先證明E(x,z)對于x是凸的，即

(12)

提出的促進稀疏的先驗等式[式(6)]被簡化為當?shù)禐?時的TV-L1。當待估計的基本信號近似分段平滑時，TV-L1是一個合適的工具。TV-L1懲罰的特征表達式為

(13)

由于分段常數(shù)信號的表示是極其稀疏的，因此與非凸懲罰(TV-Lp)相比，L1范數(shù)通常不足以產(chǎn)生稀疏性(0

(14)

式(14)中：00可以避免|Dix|等于零。

1.4 重加權(quán)策略

深度圖包含由深度邊緣分隔開的平滑區(qū)域，真正影響深度質(zhì)量的是深度邊緣的清晰度，好的邊緣保留技術(shù)通?？梢员ＷC恢復性能。圖1(a)從上至下分別顯示了高分辨率深度圖，高質(zhì)量彩色圖像和低分辨率深度圖深度。通過在圖1(b)中繪制一維信號可以看出，深度圖中的邊緣在彩色圖像中具有對應的位置，因此可以從隨附的彩色圖像中推斷出深度圖中的邊緣位置。但是，并非總是如此，因為表面紋理的強度變化與深度無關(guān)。通過檢查局部紋理和深度層邊界之間的一致性來制定重加權(quán)的相似性度量ω來定位深度邊界并處理不一致的問題，其計算如下。

圖1 顏色和深度信息之間相互關(guān)系的圖示Fig.1 An illustration of the relationship between color and depth information

ω[fk(p),fc(p)]=

(15)

式(15)中：fk和fc分別為從第k次迭代獲得的深度圖和彩色圖像；g[fk(p)]={‖D1fk‖p′,[|D2fk|]p′}、p′∈N(p)為每個像素p的局部鄰域N(p)內(nèi)的水平方向和垂直方向梯度的拼接；g[fc(p)]為彩色圖像上梯度的拼接；<·和·>為點積運算。

然后，可以簡單地將其相似性度量ω集成到式(6)中的懲罰項中，可得

ψα(x)=‖ω○Dx‖1-Sα(x)

(16)

式(16)中：○為逐元素乘法。ω可以校正梯度，并減少對出現(xiàn)在深度邊界處的有意義差異的損失，這可被視為促進稀疏性的一種方式。

2 算法

2.1 該模型的算法

引入近端梯度方法來求解基于稀疏促進先驗的模型，即

F(x)=h1(x)+h2(x)

(17)

式(17)中：h1:Rn→R和h2:Rn→R∪(+∞)都是閉合的正凸，而h1是可微的。近端梯度法具有以下迭代方案，表達式為

(18)

(19)

式中：ζ為輔助變量；π為步長。根據(jù)在式(9)中提出的模型，則

(20)

(21)

h1的梯度等價于

(22)

(23)

(24)

(25)

(26)

算法11:輸入:觀測深度圖f0,觀測矩陣K,范德蒙矩陣(二階)P,差矩陣D,推斷相似度w;α>0,μ>0,δ=1,k=0。2:while不收斂的情況下do。3:通過使用式(7)最小化x～。4:通過式(22)、式(24)、式(25)和式(13)計算x～、xkm、fkm和ωk。5:通過執(zhí)行ADMM算法來最小化式(26)。6:k=k+1。7:endwhile。8:輸出:f=xk+1+Ptk+1。

定理(收斂分析):令h1:Rn→R和h2:Rn→R∪(+∞)都是閉合的適當凸函數(shù)，并且h1是可微的。假設h1+h2的最優(yōu)解集X*是非空的，令{xk}是由式(10)使用近端梯度法生成的序列，并假設如果給出xk，則zk和tk也已知。然后

(27)

此外，{xk}收斂到x*∈X*，并且對于所有k=0，1,…有

(28)

式(28)中：l(x;xk)為h1(x)在xk處的線性近似，表示為

(29)

2.2 加速算法

基于ADMM算法的加速算法，最小化式(23)。需要引入一個輔助變量y，并利用ADMM算法形成一個不受約束的模型，即

Lβ(x,y,z,t,λ)=‖ωk○y‖1+〈λ,Dx-y〉+

(30)

式(30)中：λ為矢量形式的拉格朗日乘數(shù)；β為懲罰參數(shù)。對于x子問題，封閉式解決方案為

(31)

通常，為了加速計算，采用快速傅立葉變換(fast Fourier transform，F(xiàn)FT)技術(shù)將問題變換到FFT域。但是，F(xiàn)FT不能直接用于解決x子問題，除了KTK是相同的矩陣，即整個模型降級為去噪問題。在此方案中，觀察矩陣K是用于超分辨率任務的下采樣矩陣，或者是用于圖像修復的指示矩陣。分母βjDTD+μjKTK通過FFT技術(shù)既不是對角線也不能對角線化。為解決這個問題，在原始問題式(26)中引入了一個新的輔助變量u，從而轉(zhuǎn)換為以下優(yōu)化問題，即

(32)

相應的增強拉格朗日函數(shù)修改為

Lβ1,β2(x,u,y,z,t,λ1,λ2)=‖ωk○y‖1+

〈λ1,Dx-y〉+〈λ2,x-u〉+

(33)

式(33)中：λ1、λ2為矩陣中與x大小相同的拉格朗日乘數(shù)；β1、β2為懲罰參數(shù)。然后，可以通過ADMM算法將原始x子問題分為兩個問題。

x子問題公式為

(34)

u子問題公式為

(35)

式中：F(·)、F-1(·)分別為離散傅里葉變換(discrete Fourier transform，DFT)及其逆變換；I為相同的矩陣。

所有其余的z、y和t的子問題都具有近似形式的解決方案，并且可以低復雜度解決。如算法2所示，其中soft(·)表示軟閾值函數(shù)。z子問題的公式與u子問題相似，也可以通過按元素劃分來解決。

算法2加速算法1:輸入:觀測深度塊fkm,觀測矩陣K,范德蒙德矩陣P,差分矩陣D,從彩色圖像推斷出的加權(quán)矢量w,x0=K-1fkm,x0=u0=z0,λ01=0,λ02=0,β01>0,β02>0,μ0>0,δ=1。固定步距ρ0≥1,ρ1>1,ρ2>1,j=0。2:while在未收斂do。3:yj+1=soft[wk○(Dxj+λj1/βj1),wk/βj1]4:通過式(30)、式(31)分別計算xj+1、uj+1。5:zj+1=(μjKTK+δI)-1[μjKT(fkm≤-Kxj+1)+δPtj]6:tj+1=P+zj+1。7:λj+11=λj1-βj1(yj+1-Dxj+1)。8:λj+12=λj2-βj2(uj+1-xj+1)。9:μj+1=ρ0μj,βj+11=ρ1βj1,βj+12=ρ2βj2。10:j=j+1。11:endwhile。12:輸出:xk+1,zk+1,tk+1。

3 實驗和結(jié)果

3.1 實驗環(huán)境

數(shù)據(jù)集是基于Middleburry數(shù)據(jù)集合成的，該數(shù)據(jù)集具有3種典型的深度降級模式，即下采樣降級(2×、4×、8×和16×)，降級和類似Kinect的退化。測試圖像包括6個深度顏色對，即來自Middleburry數(shù)據(jù)集的Art、Book、Dolls、Laundry、Moebius和Reindeer。

(1)參數(shù)設置。根據(jù)噪聲量對μ進行調(diào)諧，對于下采樣和Kinect類降級，分別設置μ=1，對于ToF類降級分別設置μ=0.1。對于TV-L1和TV-Lp來說，β、ρ0和ρ1分別設置為0.005、1.5和1.25。對于TV-Lp來說，ρ設置為0.85。為加速算法設置了β1=0.004，β2=0.002，ρ0=1，ρ1=1.25，ρ2=1.25。平均絕對誤差(mean absolute deviation,MAD)用于測量恢復的深度圖及其對應的地面真實值之間的差。所有實驗均以簡單的MATLAB代碼實施，并在具有Intel(R)Core(TM)3.4-GHz i7 CPU和8.0 GB RAM的臺式機上運行。

(2)對比方法。通過將高斯加權(quán)擴展到交叉雙邊加權(quán)的改進馬爾科夫損失選擇(Markov loss selective,MLS)方案，被稱為改進的MLS(improved Markov loss selective，IMLS)[10]。像素引導的局部模型濾波(color-guided local model filtering,CLMF)方法有兩種版本：分別為零階和一階多項式模型的CLMF0和CLMF1[11]。當式(6)中α=0時，深度模型的分解恢復(depth model decomposition recovering,DMDR)與具有稀疏性先于模型的模型相似，但沒有引入重加權(quán)策略[12]。結(jié)構(gòu)選擇深度超分辨(structure selective depth superresolution,SSDS)與之前使用TV-Lp的模型相似，但是沒有多項式項和重加權(quán)策略[13]。因此，通過添加相應的組件來改進這兩種方法，并將它們分別重命名為改進的DMDR (IDMDR)和改進的SSDS(ISSDS)[14]，除此之外，還包括傳統(tǒng)圖像恢復方法：Guided[4]，Bicubic[5]，Edge[6]，JBU[6]，F(xiàn)GI[7]，TGV[8]，F(xiàn)BS[9]。

3.2 下采樣降級的實驗

表1表明，在4種不同的上采樣因子中，該方法在MAD中取得了較好的實驗結(jié)果。與IMAMRF[15]相比，提出的方法在大多數(shù)情況下均能達到最佳性能，并且在大多數(shù)情況下明顯超過了IMJBU[15]，IMMRF[16]，PRE[16]和IR-WLS[17]。

表1 2×、4×、8×、16×下降采樣降解下的定量比較結(jié)果Table 1 Quantitative comparison results under degradation of 2×,4×,8×,16×descending sampling

圖2給出了Laundry的8×深度采樣深度圖和殘差圖的結(jié)果。IMLS、CLMF、Guided和FBS傾向于平滑深度圖的邊緣。FGI 也模糊了窗口，無法恢復椅子后面的深度值。TGV具有嚴重的紋理復制偽影。AR和IR-WLS顯示了良好的性能，但仍然不如本文方法，特別是在圖像的邊緣。本文方法可以保留深度邊界并提供視覺上更加一致的結(jié)果，而不會出現(xiàn)偽圖像。

圖2 8×下采樣降級的深度恢復結(jié)果Fig.2 Depth restoration results of 8× down sampling degradation

3.3 類ToF的降解實驗

通過向原始數(shù)據(jù)集中添加方差為25的高斯噪聲并以不同的下采樣速率對污染的數(shù)據(jù)集進行下采樣來模擬ToF樣的深度下降，表2顯示了與其他方法的定量對比結(jié)果。

表2 類ToF的定量對比結(jié)果Table 2 Quantitative comparison results of type ToF

本文方法在2×和4×上采樣方面優(yōu)于所有方法。對于8×和16×上采樣，其結(jié)果略遜于FGI和FBS，因為這兩種方法主要旨在設計嚴重噪聲情況下的插值技術(shù)，而本文方法適用于各種降級，因此總體來看，本文方法具有更好的泛化性能，是一種通用的深度恢復方法。

圖3顯示了Reindeer對類似ToF的降解情況的結(jié)果，Bicubic和Guided 在處理類似ToF的降解時無效。JGF[8]、IMLS和CLMF0的降噪性能較差。本文方法的去噪性能相比于其他方法已得到明顯改善。此外，盡管結(jié)果在8×上采樣的定量比較中具有較低的度量值，但視覺比較顯示了該方法的優(yōu)越性。從殘差圖可知，在大多數(shù)深度邊界上都比其他方法獲得了更好的恢復性能，但是本文方法的結(jié)果受到一些值較大的離群值影響。

3.4 類Kinect降解實驗

進一步測試了類似Kinect的退化下的性能，如表3所示。在這種情況下，結(jié)構(gòu)缺失會隨著深度不連續(xù)而產(chǎn)生，而平坦區(qū)域會產(chǎn)生隨機缺失。采用類似Kinect的退化圖像作為測試圖像，這些圖像缺少大多數(shù)深度邊界，增加了定位深度不連續(xù)性的難度。

表3 在類Kinect的降解下的定量比較結(jié)果Table 3 Quantitative comparison results under Kinect like degradation

從表3可以看出，所提方法在所有情況下都能達到最低的MAD值，并且在很大程度上優(yōu)于現(xiàn)有的方法，這說明了本文方法在處理類Kinect退化時的有效性。直觀比較如圖4所示，結(jié)果表明，對于平面區(qū)域的隨機缺失和缺失區(qū)域內(nèi)的急劇不連續(xù)具有最佳的恢復效果。

圖4 類似Kinect的深度恢復結(jié)果Fig.4 Depth restoration results similar to Kinect

3.5 消融研究

(1)稀疏先驗。為了進行比較，在IDMDR和ISSDS模型中都保持多項式項和重加權(quán)策略不變，并測試了懲罰函數(shù)對稀疏先驗的影響。IDMDR、ISSDR和稀疏先驗之間的客觀和視覺比較可在上述3種情況下對所有3種類型的降解進行了比較。所有實驗均證明，本文方法在所有任務上均比IDMDR和ISSDS取得更好的結(jié)果。

(2)Moreau中的參數(shù)α。加權(quán)參數(shù)α在Moreau增強懲罰中起重要作用。對于固定變量μ=1，在0≤α≤μ的條件下，每個變量的整個模型都是凸的。如果α=0，則將提出的模型簡化為具有L1范數(shù)的基本模型(即IDMDR)。圖5還給出了相應的視覺結(jié)果，當α<0.5時，出現(xiàn)點狀偽影。相反，當α接近1時，恢復的深度圖十分模糊，當α接近0.5時，可獲得最佳視覺效果。圖6顯示了在不同的α下，Dolls的ToF類降解性能。當α=0.5時，MAD最低。

圖5 參數(shù)α對4×下采樣率的ToF樣衰減的影響Fig.5 Effect of parameters αon ToF sample attenuation at 4× down sampling rate

圖6 參數(shù)α在提出模型中的影響Fig.6 Influence of parameters α in the proposed model

(3)重加權(quán)策略。列出有或沒有加權(quán)策略的恢復結(jié)果，以研究其對模型的影響。圖7中最上面一行表示無重加權(quán)方案恢復策略，而在最下面一行表示具有重加權(quán)方案的恢復策略。圖7中的視覺比較和客觀MAD值表明，重加權(quán)策略對這3種方法都有提升效果。一旦將深度信息中斷整合到模型中，就可以提供深度邊界的位置，這有助于模型保留深度邊緣。此外，通過圖8中的重加權(quán)策略顯示了每次迭代的推斷深度邊緣。隨著迭代的進行，預測的深度邊界更加清晰和準確，從而可以幫助模型定位深度不連續(xù)之處。

圖7 重新加權(quán)方案對8×下降采樣退化的影響Fig.7 Effect of reweighting scheme on 8× down sampling degradation

圖8 重加權(quán)方案的深度邊緣Fig.8 Depth edge of reweighting scheme

(4)多項式項。多項式平滑項旨在將深度變化的表面分量擬合到深度圖中。通過從完整模型中刪除它來測試其有效性。圖9顯示了在具有和不具有多項式擬合項的模型之間比較的恢復結(jié)果。沒有多項式項的情況會產(chǎn)生嚴重的階梯假象，這表明僅稀疏先驗不足以適合潛在深度信號。相反，所提出的具有多項式擬合的模型可以更好地描繪2D深度信號，特別是對于緩慢變化的表面。

3.6 收斂性和運行時間

圖10(a)所示為此算法的收斂行為。以Dolls的ToF樣降級(8×下采樣)為例，繪制了兩個連續(xù)的恢復深度圖之間的絕對差。提出算法迅速減小了差值并收斂到固定點，且差異單調(diào)減少，并且3～5次迭代足以獲得較好的結(jié)果。為了進一步比較，還繪制了IDMDR和ISSDS的收斂曲線。與本文方法相比，IDMDR和ISSDS的曲線波動較大，并且會收斂迭代次數(shù)大約為20次。進一步證明了本文方法的收斂性能較好。

圖10 性能對比Fig.10 Performance comparison

為了評估加速算法的運行時間，分別在空間和頻域上執(zhí)行原始算法和FFT加速算法。此比較使用8×下采樣降級的情況(LR深度圖像為165×135，HR強度圖像為1 320×1 080)。由于IDMDR和ISSDS與數(shù)據(jù)觀測項相同，因此在這兩種方法中也采用了加速算法來進一步驗證加速算法。比較結(jié)果顯示于圖10(b)。對于此模型，空間求解器需要大約35 s的時間，這在計算上是非?？量痰?。本文算法僅需1.7 s即可解決優(yōu)化問題。從其他兩種方法可以得出類似的結(jié)論。請注意，盡管此模型的迭代次數(shù)為3～5，但比IDMDR和ISSDS花費的時間要少得多。這是因為此算法包含用于解決整個模型的外部迭代k和用于解決子問題的內(nèi)部迭代j。內(nèi)部迭代需要15～20次迭代才能獲得局部最優(yōu)解。

4 結(jié)論

為了解決現(xiàn)有的深度恢復方法存在的局限性，提出了一種基于Moreau包絡與迭代重加權(quán)策略的圖像深度恢復方法。通過多個數(shù)據(jù)集實驗證明了如下結(jié)論。

(1)本文方法能夠有效提升圖像恢復效果，可以保留深度邊界而不會出現(xiàn)偽圖像，并且運行時間具有一定的優(yōu)勢。

(2)本文方法適用于各種降級，具有更好的泛化性能，是一種通用的深度恢復方法。

(3)重加權(quán)策略有助于模型保留深度邊緣，而提出的具有多項式擬合模型可以更好地描繪2D深度信號。