涂義福 張旭東 張 駿 胡良梅

(合肥工業(yè)大學計算機與信息學院圖像信息處理研究室 安徽 合肥 230009)

基于邊緣特征引導的深度圖像超分率重建

涂義福 張旭東 張 駿 胡良梅

(合肥工業(yè)大學計算機與信息學院圖像信息處理研究室 安徽 合肥 230009)

針對TOF(Time of Flight)相機深度圖像在超分辨重建過程中易出現邊緣模糊、紋理映射問題，在聯合雙邊上采樣濾波器的基礎上提出一種基于深度圖像自身邊緣特征引導的超分辨重建方法。通過低分辨深度圖像的邊緣特征引導，將深度圖像分為不同的區(qū)域，根據濾波區(qū)域性質的不同，對聯合雙邊上采樣濾波器模型中的顏色相似項進行不同加權。同時為了進一步保持圖像邊緣，在深度圖像邊緣部分加入一個結構保持項。最后利用聯合雙邊上采樣濾波器模型重建出高分辨深度圖像。實驗結果表明，該方法不僅提高了TOF深度圖像的分辨率，而且很好地保護了深度圖像的邊緣結構，取得了較好的效果。

超分辨重建 深度圖像 聯合雙邊上采樣濾波器 邊緣特征

0 引 言

隨著3D技術的快速發(fā)展，深度信息的獲取與處理技術受到了廣泛關注。近年來，出現了一種新型測距設備—基于飛行時間TOF原理的三維相機[1-2]，通過自身發(fā)光二極管陣列主動發(fā)射調制紅外光，經相機傳感器計算發(fā)射信號與反射信號的時間延遲，直接測出場景的三維深度信息。與其他傳統的深度信息測量方法(激光測距儀，雙目立體視覺)相比，TOF相機具有實時性好，且不受場景光照條件限制等優(yōu)點。然而，由于硬件條件限制，TOF相機獲取的深度圖像分辨率普遍較低，難以滿足三維重建、工業(yè)自動化等對精度要求較高的應用需求[3-4]。為了提高深度圖像的分辨率，許多學者開展了關于深度圖像超分辨重建的研究[5-8]。根據輸入圖像源的不同，當前深度圖像超分辨率重建方法可分為兩類：基于深度圖像序列的超分辨重建方法；基于單幀深度圖像與高分辨彩色圖像融合的超分辨重建方法。

基于深度圖像序列的超分辨重建方法是將自然圖像超分辨重建方法應用到深度圖像超分辨重建上，通過構建合適的模型目標函數，將超分辨重建問題轉化為最優(yōu)化求解問題。例如，Rajagopalan等人[9]將馬爾可夫隨機場MRF(Markov Random Field)模型應用到深度圖像超分辨問題中去，依據MRF先驗模型用最大后驗概率的方法構造目標函數，重建出高分辨的深度圖像。Gevrekci等人[10]提出了一種基于凸集投影的序列深度圖像超分辨重建算法，首先建立深度圖像的成像模型，然后運用凸集投影理論進行求解，在去除噪聲方面取得不錯的效果。然而，上述方法只利用深度圖像的信息，對單幅低分辨率深度圖像進行超分辨重建，最終分辨率只能提高2～3倍。考慮到初始的深度圖像分辨率本身就很低，所以重建后的深度圖像也很難滿足實際應用要求，且該類方法對多幀序列圖像之間亞像素位移信息要求很高，只能在垂直于相機的光軸方向作細微的平移，這在一些實際場合難以滿足要求。

基于單幀深度圖像與高分辨彩色圖像融合的超分辨重建方法是利用信息融合技術，通過結合同一場景的高分辨彩色圖像，實現對低分辨深度圖的超分辨重建。例如，Kopf[11]和Buades[12]分別采用聯合雙邊上采樣濾波器JBUF(Joint Bilateral Up-sampling Filter)和非局部權值濾波器的方法，快速高效地重建出高分辨深度圖像；He等人[13]提出一種線性引導濾波器模型，利用誤差函數根據線性回歸的方法求解出模型的最優(yōu)參數，然后根據線性模型重建出高分辨深度圖；Ferstl等人[14]利用二階廣義總變分TGV(Total Generalized Variation)模型，把高分辨彩色信息作為約束項，最后將超分辨重建問題轉化為最優(yōu)化求解問題，迭代獲取到高分辨深度圖像。由于這方法只需結合同一場景的一幅深度圖像和一幅彩色圖像，系統搭建簡單，運算效率較高，因此成為當前超分辨重建研究的熱點之一。然而，這類方法也存在一些局限性，如采用的濾波方法雖然可以快速重建出高分辨深度圖像，但是由于這些濾波器都是高斯核函數組成的，所以重建結果容易出現圖像過度平滑的問題，尤其是在深度不連續(xù)區(qū)域會出現邊緣模糊的情況；模型優(yōu)化的方法雖然很好地解決了濾波法存在的過度平滑、邊緣模糊的問題，但在深度連續(xù)，紋理豐富的區(qū)域會將彩色圖像的紋理信息映射到深度圖像上，造成紋理復制現象，此外迭代求解的運算時間較長，難以廣泛應用。

針對上述問題，鑒于聯合雙邊上采樣濾波器具有保護邊緣、去除噪聲的優(yōu)勢，本文在此基礎上，提出了一種基于深度圖像邊緣特征引導的超分辨重建方法。計算深度圖像的邊緣特征，將深度圖像劃分為不同的區(qū)域，然后根據像素所在區(qū)域的不同，進行不同的顏色相似加權，從而減少彩色紋理信息對深度圖像超分辨重建的影響；同時，對深度邊緣引入邊緣保持項，減小濾波器導致的邊緣模糊效應。實驗結果表明，與當前先進算法相比，本文方法可以有效保護圖像邊緣，并且很好地抑制了重建過程中紋理映射的現象，取得了很好的視覺效果。

1 聯合雙邊上采樣濾波器

雙邊濾波器是一種綜合考慮像素空間域鄰近度和顏色相似度的非線性濾波器。相對于其他線性濾波器，該濾波器具有良好的邊緣保持和去除噪聲的功能。文獻[11]在此基礎上，通過引入一幅同場景的高分辨圖像，提出了一種聯合雙邊上采樣濾波器，并將其應用在深度圖像超分辨重建中。其思想是將高分辨彩色圖像作為參照圖像，然后通過濾波方法直接將低分辨深度圖像上采樣到與高分辨圖像同一分辨率。原理示意圖如圖1所示。

圖1 聯合雙邊濾波器原理示意圖

聯合雙邊上采樣濾波器具體表達式如下：

(1)

其中kp是歸一化系數，Dp為高分辨深度圖像，dp↓為低分辨深度圖像，I為同場景高分辨彩色圖像，Ω表示濾波窗口，p、q是高分辨圖像上不同像素點的坐標，p↓、q↓是相同場景低分辨深度圖像中對應坐標的像素點坐標。‖p↓-q↓‖2為一個L2范式，表示低分辨深度圖像上兩個像素之間的歐式距離，‖Ip-Iq‖1為一個L1范式，表示兩個像素之間的RGB顏色差值。f和g分別表示空間域鄰近度高斯核函數和顏色相似度高斯核函數，在下文中分別統稱為空間距離項和顏色相似項，其具體表達式如下：

(2)

(3)

其中σf、σg分別為空間距離項與顏色相似項的標準差，它們的取值大小決定了參與當前中心像素點深度重建的像素區(qū)域范圍。其值越小，參與重建的像素區(qū)域范圍越小，即鄰近的像素點參與了當前中心像素的深度重建。

2 基于深度圖像邊緣特征引導的超分辨重建方法

2.1 方法描述

上述方法雖然能快速高效地重建出高分辨深度圖像，但是無法解決重建過程中的邊緣模糊、紋理映射問題，其主要原因在于濾波器的空間距離項和顏色相似項難以區(qū)分深度圖像邊緣。針對這一問題，本文在聯合雙邊上采樣濾波器的基礎上，引入文獻[15]中低分辨深度圖像的邊緣特征。利用低分辨深度圖像含有的不連續(xù)邊緣特征，引導深度圖像在不同區(qū)域，進行不同的顏色相似加權。同時為了彌補濾波器高斯核函數對圖像邊緣帶來的影響，在邊緣部分加入一個邊緣保持項，從而在濾波與邊緣保持之間獲得較好的折中效果，更有效地保護深度圖像邊緣結構。方法的流程如圖2所示。

圖2 方法流程示意圖

首先，為了獲得低分辨深度圖像的不連續(xù)邊緣特征，采用canny算子對同場景的高分辨彩色圖像I進行邊緣提取，獲得彩色圖像邊緣信息；然后對低分辨深度圖像Dl進行雙線性插值，獲得插值深度圖像Db；由于插值深度圖像Db，與高分辨彩色圖像I是同一分辨率，且為同一場景，所以深度圖像Db上的邊緣信息與高分辨彩色圖像部分邊緣信息是對應相同的，本文根據這一對應關系，獲取低分辨深度圖像不連續(xù)的邊緣特征。具體表達式如下：

(4)

式中i為對應高分辨彩色圖像邊緣像素點，ND(i)為像素點i的鄰域，Db(i)為像素點i對應的深度值，Dmax(i)表示像素i鄰域內最大深度值，Dmin(i)表示像素i鄰域內最小深度值，t為設定的閾值，其大小決定了邊緣提取的效果。Dedge為低分辨深度圖像的不連續(xù)邊緣特征。

然后根據像素點與深度圖像邊緣的位置關系，將深度圖像劃分為三個不同的區(qū)域，如圖3所示。其中，當像素點及其鄰域內的像素點都不是深度圖像邊緣特征點時，該區(qū)域稱為平滑區(qū)，如圖3(a)所示；當像素點不是深度圖像邊緣特征點，但其鄰域內的像素點為邊緣特征點時，該區(qū)域稱作過渡區(qū)，如圖3(b)所示；當像素點就是深度圖像邊緣特征點時，該區(qū)域稱為邊緣區(qū)如圖3(c)所示。根據像素點所在區(qū)域的不同，其聯合雙邊上采樣濾波器中的顏色相似項也不同，具體如下式所示：

圖3 區(qū)域分割示意圖

(5)

式中，n=0，表示該區(qū)域為平滑區(qū)；n=1，表示該區(qū)域為過渡區(qū)；n=2，表示該區(qū)域為邊緣區(qū)，C，m為常數，gn表示不同區(qū)域的顏色相似項。其中C的值決定了過渡區(qū)的顏色相似項權值，一般取大一點的值，即讓過渡區(qū)域的顏色權值小于邊緣區(qū)域的顏色相似權值，從而讓邊緣區(qū)域突出，達到保護圖像邊緣的目的；而m的取值主要取決于濾波窗口的大小，要求小于或等于濾波窗口的邊長。

最后根據深度圖像的邊緣特征劃分的不同區(qū)域，利用聯合雙邊濾波器模型，對不同區(qū)域進行重建。對于邊緣區(qū)域，增加一個邊緣保持項，用于彌補高斯核函數對深度圖像邊緣的影響。所以其最終重建結果如下式所示：

(6)

(7)

其中DH表示為重建的高分辨深度圖像，gn表示所在區(qū)域的顏色相似項，Eedge為邊緣保持項，λ為常數，用于平衡邊緣保持項的大小，防止邊緣保持項過大過小，取值范圍為0～1。Ω為濾波窗口，i,j表示窗口區(qū)域像素的行和列。

2.2 具體實現步驟

根據上述的理論描述，具體實現步驟如下：

假設低分辨深度圖像Dl分辨率為N×N，高分辨彩色圖像I分辨率為M×M(其中M>N)。

1) 首先對圖像進行歸一化處理，利用canny算子，獲取高分辨彩色圖像的邊緣信息Iedge；

2) 對Dl進行雙線性插值，獲取到插值圖像Db，分辨率為M×M；

3) 根據Iedge與Db的對應關系，可根據式(4)判斷Iedge中的邊緣像素點是否為深度圖像上的邊緣像素，即提取出Db的不連續(xù)邊緣特征Dedge；

if((Iedge(i,j)=1)&&(|Dmax(i,j)-Dmin(i,j)|>t))

Dedge(i,j)

else

Dedge(i,j)=0

4) 利用步驟3)獲取到的深度圖像邊緣信息，將深度圖像Db劃分成三個不同的區(qū)域：平滑區(qū)、邊緣區(qū)、過渡區(qū)，獲取到區(qū)域分割圖Dn；

P=Dedge(i-1,j)+Dedge(i+1,j)+Dedge(i,j-1)+Dedge(i,j+1);

if(Dedge(i,j)=0&&P=0)Dn(i,j)=0;

if(Dedge(i,j)=0&&P>0)Dn(i,j)=1;

if(Dedge(i,j)=1)Dn(i,j)=2;

5) 根據步驟4)劃分的不同區(qū)域，利用聯合雙邊濾波器模型，結合式(5)、式(6)在不同區(qū)域，加權不同的顏色加權項，對邊緣區(qū)域再增加一個邊緣保持項Eedge。

%其中f表示濾波窗口的空間距離項加權函數

%g表示不同區(qū)域的顏色相似加權函數

%Eedge是邊緣保持項權值函數

if(Dn(i,j)=0)

DH(i,j)=db*f(i，j)*g0(i，j);

elseif(Dn(i,j)=1)

DH(i,j)=db*f(i，j)*g1(i，j);

else

DH(i,j)=db*f(i，j)*g2(i，j)+λ*Eedge(i,j)

6) 輸出重建的高分辨深度圖像DH。

3 實驗結果及分析

3.1 測試環(huán)境

為了驗證本文方法的有效性，本文在MATLAB2014a軟件上進行了兩個實驗，測試環(huán)境為：Intel(R)Core(TM)DuoCPUT6500@2.1GHz，內存為2GB；操作系統為32位Win7。測試數據主要有兩類：(1) 利用TOF相機采集的真實場景圖像；(2)Middlebury[17]標準數據集。

本文實驗1在真實場景圖像上進行了相關實驗，其所用的設備為TOF相機(PMD@Camcube2.0)，彩色相機(DH-SV1421FC)，分別獲取的深度圖像分辨率為200×200，彩色圖像分辨率為1392×1040。由于兩個相機的視場不一致，所以首先需對采集到的彩色圖像和深度圖進行立體配準，獲取到與TOF相機同視角的彩色圖像，其分辨率為800×800。然后在TOF相機采集到的低分辨深度圖像和配準后獲得的同場景高分辨彩色圖像上進行可行性分析實驗。

為了定量分析本文方法的有效性，本文實驗2利用Middlebury標準數據集提供的數據進行了相關實驗。該實驗中的彩色圖像分辨率為1376×1088，原始深度圖像分辨率為344×272、172×136(即下采樣4倍、8倍)。

為了防止重建過程中深度圖像過度平滑，實驗中選取的濾波窗口Ω為5×5，根據上一節(jié)闡述的參數作用，本文實驗選取了適宜的參數：λ=0.5;t=30;C=10;m=5;σg=2;σf=0.05。

3.2 重建效果及性能對比

本文在實驗中用本文方法與聯合雙邊上采樣濾波(JBUF)方法[11]、二階TGV方法[14]進行了對比分析。其中實驗1的實驗結果如圖4所示，其中(a)～(e)分別表示同場景RGB圖像、低分辨深度圖像、JBUF方法重建結果、二階TGV方法重建結果、本文方法重建結果，驗證了本文方法的可行性；實驗2的實驗結果如圖5所示，其中(a)為Art、Bowling、Midd1等RGB圖像，(b)為下采樣倍數為4的低分辨深度圖像，(c)～(e)分別為文獻[11]JBUF方法重建結果、文獻[14]二階TGV方法重建結果、本文方法重建結果，(f)為對應場景的真實場景圖像，在定性和定量分析方面，進一步驗證了本文方法的有效性。

圖4 真實場景圖實驗對比

圖5 Middleburry數據集實驗結果

從實驗結果(圖4、圖5所示)可以看出，在深度不連續(xù)區(qū)域，由于本文引入了低分辨深度圖像的邊緣特征，在重建過程中對不同區(qū)域的像素進行不同的顏色相似加權，且在圖像邊緣部分加入了一個邊緣保持項，本文方法明顯保持了高分辨深度圖像的邊緣信息，重建效果優(yōu)于JBUF方法。同時在深度連續(xù)，紋理豐富的區(qū)域，文獻[14]二階TGV方法中存在的紋理映射現象(如圖4、圖5中的虛線矩形區(qū)域)得到有效抑制。綜上所述，本文方法重建效果優(yōu)于JBUF方法和二階TGV方法。

為了進一步定量分析重建結果，對比Middlebury標準數據集提供的實際深度值，本文采用均方根誤差RMSE(RootMeanSquareError)作為重建結果的評價標準，分別對Art、Bowling、Midd1等重建結果進行比較。表1給出了各方法RMSE的對比，可以看出本文相對JBUF方法和Ferst二階TGV方法有了較大的提高。

表1 均方根誤差比較

4 結 語

本文針對飛行時間相機獲取場景的深度圖像分辨低，且在超分辨重建過程中易出現邊緣模糊、紋理映射的問題，結合同場景高分辨彩色圖像，提出了一種基于深度圖像邊緣特征引導的超分辨重建方法。利用高分辨彩色圖像邊緣和深度圖像信息，獲取到低分辨深度圖像不連續(xù)的邊緣特征，在重建過程中對不同區(qū)域的像素進行不同的顏色相似加權，且在圖像邊緣部分添加一個邊緣保持項，從而有效地保護了深度圖像邊緣結構，重建出高質量的深度圖像。結果表明本文提出的方法優(yōu)于其他算法，在定性和定量兩個方面達到了較好的效果，可為后續(xù)應用如三維重建、位姿測量等提供高精度可靠數據，對提高相關領域的測量精度具有重要意義?？紤]到TOF相機可同時提供場景的多類信息(幅度、度、深度)，因此，如何融合TOF相機的其他信息，進一步提高算法的效能，是下一步的研究重點。

[1]MolinaJ,Escudero-VioloM,SignorielloA,etal.Real-timeuserindependenthandgesturerecognitionfromtime-of-flightcameravideousingstaticanddynamicmodels[J].MachineVisionandApplications,2013,24(1):187-204.

[2] 胡良梅,段琳琳,張旭東,等.融合顏色信息與深度信息的運動目標檢測方法[J].電子與信息學報,2014,36(9):2047-2052.

[3]KimJH,ChangWS,KimD,etal.3Dprintingofreducedgrapheneoxidenanowires[J].AdvancedMaterials,2015,27(1):157-161.

[4] 張旭東,楊靜,胡良梅,等.基于多層運動歷史圖像的飛行時間相機人體運動識別[J].電子與信息學報,2014,36(5):1139-1144.

[5] 竇諾,趙瑞珍,岑翼剛,等.基于稀疏表示的含噪圖像超分辨重建方法[J].計算機研究與發(fā)展,2015,52(4):943-951.

[6]HuangW,GongX,YangMY.Jointobjectsegmentationanddepthupsampling[J].IEEESignalProcessingLetters,2015,22(2):192-196.

[7]ZhengS,AnP,ZuoY,etal.Depthmapupsamplingusingsegmentationandedgeinformation[C]//8thInternationalConferenceonImageandGraphics.SpringerInternationalPublishing,2015:116-126.

[8] 楊宇翔,曾毓,何志偉,等.基于自適應權值濾波的深度圖像超分辨率重建[J].中國圖象圖形學報,2014,19(8):1210-1218.

[9]RajagopalanAN,BhavsarA,WallhoffF,etal.ResolutionenhancementofPMDrangemaps[C]//Proceedingsofthe30thDAGMSymposiumonPatternRecognition,2008:304-313.

[10]GevrekciM,PakinK.Depthmapsuper-resolution[C]//SignalProcessingandCommunicationsApplications,2011IEEE9thConferenceon,2011:3449-3452.

[11]KopfJ,CohenMF,LischinskiD,etal.Jointbilateralupsampling[J].ACMTransactionsonGraphics,2007,26(3):839-846.

[12]BuadesA,CollB,MorelJM.Anon-localalgorithmforimagedenoising[C]//IEEEComputerSocietyConferenceonComputerVisionandPatternRecognition,2005:60-65.

[13]HeK,SunJ,TangX.Guidedimagefiltering[J].IEEETransactionsonPatternAnalysisandMachineIntelligence,2013,35(6):1397-1409.

[14]FerstlD,ReinbacherC,RanftlR,etal.Imageguideddepthupsamplingusinganisotropictotalgeneralizedvariation[C]//2013IEEEInternationalConferenceonComputerVision.IEEEComputerSociety,2013:993-1000.

[15]KangYS,LeeSB,HoYS.Depthmapupsamplingusingdepthlocalfeatures[J].ElectronicsLetters,2014,50(3):170-171.

[16]LuY,ChanHP,WeiJ,etal.Multiscalebilateralfilteringforimprovingimagequalityindigitalbreasttomosynthesis[J].MedicalPhysics,2015,42(1):182-195.

[17]MiddleburyStereoDatasets[DS/OL].http://vision.middlebury.edu/stereo/data.

DEPTH MAP SUPER-RESOLUTION RECONSTRUCTION BASED ON THE EDGE FEATURE-GUIDED

Tu Yifu Zhang Xudong Zhang Jun Hu Liangmei

(LaboratoryofImageInformationProcessing,SchoolofComputerandInformation,HefeiUniversityofTechnology,Hefei230009,Anhui,China)

It is prone to edge blurring and texture copying in the depth map from TOF camera super-resolution process, a new super-resolution reconstruction method based on the depth map’s edge feature-guided is proposed. According to the edge feature of low resolution depth map, the depth map is divided into different regions and then the different color similarity weighting is calculated along with the different filtering regions. In order to protect the image edge further, a structure preserved term is added in the edge region. Finally, the high resolution depth map is calculated by using the joint bilateral up-sampling filter model. The experimental results show that the proposed method not only improves the resolution of depth map from TOF camera, but also protects the image edge structure and achieves a well result.

Super-resolution reconstruction Depth map The joint bilateral up-sampling filter Edge feature

2015-11-23。國家自然科學基金項目(614031160，61273237)；中國博士后基金項目(2014M560507)。涂義福，碩士生，主研領域：智能信息處理。張旭東，教授。張駿，講師。胡良梅，副教授。

TP391

A

10.3969/j.issn.1000-386x.2017.02.039