劉國華，段建春

(1.天津工業(yè)大學機械工程學院，天津300387；2.天津市現(xiàn)代機電裝備技術(shù)重點實驗室，天津300387)

1 引言

隨著微軟推出了消費級深度相機Kinect，深度圖像的采集變得更加方便，在三維場景重建[1]、目標識別[2]和語義分割[3]等任務中融合深度信息和顏色信息RGB-D(RGB-Depth)成為了新的趨勢。Kinect相機能夠獲取同一位置的彩色和深度圖像，深度圖像也叫距離圖像，其中每個點像素的灰度值表示物體表面與相機的實際距離。但是，由于物體材質(zhì)、鏡面反射或區(qū)域遮擋等原因，Kinect相機在采集深度信息時容易在物體的邊緣或內(nèi)部丟失部分信息，即產(chǎn)生空洞(深度圖像中空洞表現(xiàn)為像素值為零的區(qū)域)[4]，深度圖像中的空洞會給后期的圖像處理帶來很多困難。

針對上述問題，近年來許多研究人員開展了深度圖像空洞修復方面的研究。通過濾波的方法修復空洞是簡單且應用廣泛的方式，但是濾波算法會模糊圖像且對于較大的空洞修復效果不佳。比如Elguebaly等[5]提出了一種通過高斯濾波修復空洞的方法，實驗結(jié)果表明，該方法針對小空洞或噪聲具有較好的修復效果，但對于大面積空洞無效；王殿偉等[6]采用一種形態(tài)學優(yōu)化空洞的方法修復深度圖像空洞，該方法對較大空洞的修復效果較差；張志偉等[7]提出利用非負稀疏字典學習的方法修復空洞，取得了較好的結(jié)果，但該方法復雜度高，操控性較差，不適合推廣。目前，通過彩色圖像的邊緣、紋理、顏色等特征輔助修復深度圖像空洞是該領(lǐng)域的主要研究方向。Miao等[8]提出一種結(jié)合彩色圖像邊緣特征的空洞修復方法，但所采用的Canny算子在提取邊緣特征時受圖像紋理影響較大，且參數(shù)較為復雜，實驗效果不佳；胡天佑等[9]提出一種先對圖像超像素分割再修復空洞的方法，由于原始深度圖像超像素分割的精度較低，所以修復效果較差；Lu等[10]通過將RGB-D稀疏值合成矩陣在低秩子空間約束中實現(xiàn)去噪和缺失深度值修復，算法復雜度較高；Qi等[11]提出一種結(jié)合深度圖像結(jié)構(gòu)信息和顏色信息的空洞修復方法，但彩色信息的融合方式較為簡單，并不是較好的修復方式。

超像素分割是將圖像過分割成一系列子區(qū)域，其中每個子區(qū)域表示一個超像素，使得每個超像素內(nèi)部像素之間具有相似的顏色、紋理等特征。超像素分割在降低圖像復雜度，提高圖像處理速度等方面具有較強優(yōu)勢[12]。常見的超像素分割算法有線性譜聚類LSC(Linear Spectral Clustering)[13]、簡單線性迭代聚類SLIC(Simple Linear Iterative Clustering)[14]、Normalized Cuts[15]、TurboPixels[16]等，其中LSC算法具有速度快、精度高等優(yōu)勢，應用較為廣泛。LSC算法核心是核函數(shù)的設(shè)計，通過核函數(shù)將低維度的顏色特征信息映射到高維空間，最后通過K-means聚類算法實現(xiàn)超像素分割，但是這種基于顏色信息的分割算法在分割顏色相近的相鄰目標時效果較差。

對于上述各空洞修復方法存在的問題，本文提出了一種結(jié)合彩色圖像局部邊緣信息的深度圖像空洞修復算法?？斩葱迯屯瓿珊?，本文融合深度和顏色信息重新建立了LSC算法核函數(shù)，并基于該核函數(shù)提出了一種融合深度信息的線性譜聚類超像素分割算法LSC-D(Linear Spectral Clustering-Depth)。

2 結(jié)合彩色圖像邊緣特征的深度圖像空洞修復

將原始深度圖像中尺寸小于5×5像素的空洞稱為較小空洞，尺寸大于5×5像素的空洞稱為較大空洞。本文提出的結(jié)合彩色圖像局部邊緣信息的深度圖像空洞修復方法，首先通過雙邊濾波算法修復深度圖像中較小的空洞，然后提取較大空洞區(qū)域?qū)噬珗D像的邊緣特征，并根據(jù)有無邊緣特征將空洞進行分類修復。圖1為本文深度圖像空洞修復算法的流程圖。

Figure 1 Flow chart of deep image hole repair algorithm in this paper圖1 本文深度圖像空洞修復算法流程圖

圖2a為通過Kinect相機獲取的RGB圖像，圖2b為與RGB圖像對應的深度圖像，其中，黑色區(qū)域為空洞，可以看出在物體的邊界位置更易產(chǎn)生空洞。使用普通的濾波方法修復空洞往往會造成邊界信息的丟失，本文結(jié)合顏色信息將空洞分類修復，可以在修復空洞的同時最大程度保留真實的邊界信息。

Figure 2 Color and depth images acquired by Kinect cameras圖2 Kinect相機采集的彩色圖像和深度圖像

2.1 雙邊濾波

雙邊濾波[17]算法是一種非線性濾波算法，該算法既能較好地平滑噪聲，又能夠較好地保留圖像的原始邊緣特征。根據(jù)雙邊濾波的擬合機制，在圖像中像素值變化明顯的區(qū)域以保留邊緣信息為主，在像素值變化較小的區(qū)域以消除噪聲為主。基于雙邊濾波算法的平滑保邊優(yōu)勢，本文采用該算法修復較小的空洞。

(1)

(2)

其中，Ωp表示以p像素點為中心的窗口，q=(u,v)表示像素p鄰域內(nèi)的像素點，Wp為歸一化因子。Gr為衡量顏色相似性的核函數(shù)，Gs是用于測量p與鄰域像素q空間相似性的核函數(shù)，Gr與Gs定義如下:

(3)

(4)

其中,σr和σs分別表示高斯函數(shù)的灰度標準差和距離標準差，其分別代表各自核函數(shù)的作用范圍。

2.2 空洞的分類與修復

根據(jù)Kinect相機的成像原理，深度信息采集的過程中，在相鄰物體遮擋區(qū)域或鏡面反射區(qū)域容易造成深度信息丟失，這些區(qū)域在深度圖像中表現(xiàn)為空洞[18]。其中，深度圖像中的大部分空洞是由相鄰物體遮擋造成的，由物體遮擋造成的空洞都位于物體的邊緣位置，空洞所在區(qū)域丟失了真實的物體邊緣信息。深度圖像中少部分的空洞是由于場景中存在反光材質(zhì)的物體造成的，比如顯示器、鏡子等，這種由鏡面反射造成的空洞多發(fā)生在物體的內(nèi)部，空洞所在區(qū)域的深度信息往往是連續(xù)的。僅在深度圖像中難以區(qū)分空洞位于物體內(nèi)部還是位于物體邊緣處，本文通過結(jié)合顏色圖像和深度圖像對空洞進行分類，以期對不同原因造成的空洞進行分類修復。同時，深度圖像中的背景與前景中的空洞產(chǎn)生原理相同，本文在空洞修復過程中不對背景與前景進行區(qū)分，而是將背景看做物體一同修復。

對于雙邊濾波后的深度圖像提取像素值為0的區(qū)域(即空洞)，通過連通性分析對各空洞區(qū)域進行標記，標記好的空洞區(qū)域用半徑為4的圓形結(jié)構(gòu)元素膨脹。如圖3a所示，Ω為空洞區(qū)域，Φ為膨脹區(qū)域。提取Φ區(qū)域的外輪廓，根據(jù)提取到的輪廓分割出彩色圖像的對應區(qū)域，對得到的每個彩色圖像區(qū)域使用SE(Structured Edge)[19]算法提取邊緣特征，并根據(jù)每個彩色圖像區(qū)域有無邊緣特征將空洞分為2類，第1類是位于物體內(nèi)部的空洞，即沒有邊緣特征，第2類是在物體邊緣處的空洞，即有邊緣特征。

Figure 3 Schematic diagram of the hole filling algorithm圖3 空洞填充算法示意圖

第1類空洞存在于物體內(nèi)部，所以深度值往往是連續(xù)的。為了提高空洞修復效率，本文采用均值填充的方法處理第1類空洞，即計算該空洞膨脹區(qū)域Φ內(nèi)像素灰度值的均值，并以此修復該空洞區(qū)域。提取該空洞膨脹區(qū)域Φ的有效像素并通過式(5)計算像素均值，將得到的均值填充到該空洞區(qū)域Ω，該填充方法對于修復第1類空洞簡單有效。

(5)

其中,m為膨脹區(qū)域Φ中所有的有效像素點數(shù)，xi為像素灰度值。

第2類空洞內(nèi)包含邊界信息，所以往往深度值是非連續(xù)的。該類空洞在修復過程中很難找出準確的邊界，修復困難較大。本文首先通過彩色圖像局部邊緣分割空洞，再對分割后的子空洞分別由外而內(nèi)逐點修復。如圖3b所示，δΩ是空洞的外輪廓，edge為在局部彩色圖像中提取到的邊緣，本文算法根據(jù)邊緣edge將空洞Ω分割為2個子空洞，分別為Ω1和Ω2，同理將膨脹區(qū)域Φ分割為Φ1和Φ2。以子空洞Ω1的修復為例，先修復Ω1外輪廓空洞，然后再逐步修復內(nèi)部區(qū)域，直至所有區(qū)域內(nèi)空洞都修復完成。對于Ω1外輪廓上任一點p，提取其鄰域ε，并令ε(p)表示ε內(nèi)有效像素點的集合，將p點修復后的灰度值用I(p)表示并在式(6)中定義：

(6)

(7)

w(p,q)=dir(p,q)×dst(p,q)

(8)

其中，dst(p,q)和dir(p,q)分別表示距離權(quán)值和法向權(quán)值，其定義如式(9)和式(10)所示：

(9)

(10)

其中，N(p)表示像素梯度。

圖4為圖2中標記區(qū)域的修復過程，根據(jù)彩色圖像中的邊界信息可以得知該空洞屬于第2類空洞，膨脹空洞區(qū)域并提取彩色圖像對應區(qū)域的邊緣特征，將空洞利用提取到的邊緣分割為2部分分別修復?？斩葱迯屯瓿珊螅疃葓D像具有較高的深度準確性和邊界準確性。

Figure 4 Hole repair combined with color information圖4 結(jié)合顏色信息的空洞修復

3 融合深度信息的線性譜聚類超像素分割

現(xiàn)有的超像素分割方法在分割顏色相近的相鄰目標時準確度較差，而深度圖像表示物體間的空間信息，這就為超像素分割提供了新的思路。本文提出了一種融合深度信息的線性譜聚類超像素分割算法(LSC-D)，首先將空洞修復后的深度圖像通過相機坐標變換矩陣轉(zhuǎn)換到像素點的三維空間坐標，然后融合像素三維空間坐標和顏色信息重新建立LSC算法的核函數(shù)，最后通過核函數(shù)將數(shù)據(jù)點映射到16維特征空間并通過加權(quán)K-means聚類完成分割。圖5為本文提出的超像素分割算法的流程圖。

Figure 5 Flow chart of LSC-D superpixel segmentation algorithm 圖5 LSC-D超像素分割算法流程圖

3.1 像素三維空間坐標

深度圖像中每個點的灰度值表示相機與目標之間的距離，是單維度信息，直接使用深度圖像的灰度值會丟失2個維度的信息，所以要將深度圖像通過相機坐標變換矩陣轉(zhuǎn)化為三維空間信息。用(x,y)表示像素的位置，d表示該像素點對應的深度信息，則空間坐標(X,Y,Z)由以下公式獲得：

(11)

其中,fx和fy分別表示相機在x軸和y軸方向的焦距，γ是這2個坐標軸之間的斜率，(x0,y0)表示相機的基準點位置坐標。

3.2 融合深度信息的線性譜聚類核函數(shù)

核函數(shù)是LSC算法的核心。LSC算法將圖像像素p的特征表示為p=(lp,αp,βp,xp,yp)，其中，(l,α,β)表示CIELAB顏色空間下的顏色特征，(x,y)為圖像像素坐標，本文在此基礎(chǔ)上增加了像素空間坐標(Xp,Yp,Zp) 3維特征信息，構(gòu)建了(lp,αp,βp,xp,yp,Xp,Yp,Zp)8維特征矩陣，從而，融合深度信息的線性譜聚類核函數(shù)φ(p)，如式(12)所示：

(12)

(13)

(14)

其中,p和q表示像素點，V表示圖像像素集合，Cc、Cs和Cd分別為控制顏色、位置、空間坐標信息的權(quán)重，Cs=r×Cc,r=0.075。

將8維特征矩陣(lp,αp,βp,xp,yp,Xp,Yp,Zp)通過上述核函數(shù)φ(p)映射到16維特征空間，最后通過加權(quán)K-means對高維空間數(shù)據(jù)進行聚類，從而完成融合深度信息的超像素分割。

3.3 融合深度信息的線性譜聚類超像素分割算法(LSC-D)

本文提出的融合深度信息的線性譜聚類超像素分割算法(LSC-D)對于復雜圖像的超像素分割具有一定的優(yōu)勢。LSC-D超像素分割算法流程如下：

輸入：預處理后的RGB-D數(shù)據(jù)，超像素數(shù)K，平衡系數(shù)δ，迭代次數(shù)L。

輸出：超像素分割結(jié)果。

步驟1將p=(lp,αp,βp,xp,yp,Xp,Yp,Zp)通過核函數(shù)φ(p)映射到高維特征空間。

步驟3初始化聚類中心mk為各區(qū)域內(nèi)的像素特征均值，k=1,2,…,K，設(shè)置L(p)=0,d(p)=∞。

步驟4for(每個超像素聚類中心mk)

for(聚類中心鄰域2S×2S內(nèi)的每個像素p)

計算16維特征空間中φ(p)和mk之間的歐氏距離D

ifD

d(p)=D;L(p)=k;

end if

end for

end for

步驟5更新聚類中心mk。

步驟6直到mk收斂或迭代至L次。

步驟7將過小的區(qū)域合并到其鄰域，分割完成。

4 實驗結(jié)果及分析

本文實驗采用Middle-bury圖像庫[20]提供的標準RGB-D圖像作為實驗數(shù)據(jù)進行驗證。本文實驗由2部分組成，一是對本文提出深度圖像空洞修復算法實驗驗證，二是驗證本文提出的LSC-D超像素分割算法的有效性。

4.1 深度圖像空洞修復實驗

為了驗證本文結(jié)合彩色圖像局部邊緣特征的深度圖像空洞修復算法的可靠性，選取3組RGB-D圖像作為實驗數(shù)據(jù)，并將本文算法與聯(lián)合雙邊濾波JBF(Joint Bilateral Filter)算法[21]、快速行進算法FMM(Fast Marching Method)[22]的結(jié)果進行對比。其中，雙邊濾波窗口尺寸為5×5,σr為25，σs為200，圖6是3種算法的深度圖像空洞修復結(jié)果。

在圖6中可以看出，本文算法修復后的深度圖像不僅具有良好的邊界性，同時也較準確地修復了空洞區(qū)域。從圖6c中可以看出，JBF雖然準確修復了較小空洞，但是多數(shù)大空洞未得到有效填充。圖6d中FMM修復后的深度圖像邊界缺失較為嚴重，比如Bowling圖像中右側(cè)區(qū)域修復誤差較大。

Figure 6 Depth image hole repair results of the three algorithms圖6 3種算法的深度圖像空洞修復結(jié)果

為了量化評估各算法的空洞修復效果，計算了3種方法實驗結(jié)果的峰值信噪比PSNR(Peak Signal to Noise Ratio)、均方根誤差RMSE(Root Mean Square Error)和結(jié)構(gòu)相似性SSIM(Structural Similarity Index)，量化評估結(jié)果如表1所示。與JBF和FMM相比，本文算法空洞修復結(jié)果的平均PSNR和SSIM至少分別提高了3.601 6和0.022 5，RMSE至少降低了3.933 6，提高了深度信息的準確度。

Table 1 PSNR,RMSE,and SSIM values for the three repair algorithms

4.2 超像素分割實驗

為了評估本文LSC-D超像素分割算法的效果，實驗對比了3種基于顏色特征的超像素分割算法，它們分別是LSC[13]、SLIC[14]]和Turbopixel[16]算法。在實驗過程中設(shè)置Art和Bowling圖像的初始超像素個數(shù)為500，由于Moebius圖像更復雜，所以設(shè)置初始超像素個數(shù)為700。設(shè)定SLIC的緊湊度因子為10，本文提出的LSC-D方法中的迭代次數(shù)設(shè)置為20，圖7為各算法的超像素分割結(jié)果。

從圖7中可以直觀地看到，3種對比算法在低對比度區(qū)域分割效果較差，比如，Art圖像右上角重疊的環(huán)形物體區(qū)域、Bowing圖像右側(cè)保齡球與背景重疊區(qū)域等。此外，從圖7a中可見，SLIC算法分割得到的超像素規(guī)則性較差。而本文LSC-D算法由于融合了深度信息，分割結(jié)果不僅具有較高的準確度，并且得到的超像素具有較好的規(guī)則性。

除了圖7中的主觀結(jié)果外，實驗還使用文獻[23]中的超像素分割結(jié)果評測方法計算了各方法分割結(jié)果的邊界召回率和欠分割錯誤率。

Figure 7 Superpixel segmentation results of the four algorithms圖7 4種算法的超像素分割結(jié)果

邊界召回率BR(Boundary Recall)用于衡量超像素分割與真實的分割結(jié)果邊界之間的重合度，該參數(shù)的取值為[0,1]，邊界召回率數(shù)值越大，說明超像素分割越準確，其計算數(shù)學表達式如下所示：

(15)

其中,G表示真實分割邊界的像素集合，H表示超像素分割結(jié)果中的邊界像素集合，R用于判斷最近鄰的像素點與γ的距離是否超出設(shè)定范圍內(nèi)(且一般γ=2)。

欠分割錯誤率UE(Under-segmentation Error)描述的是圖像在超像素分割后，未得到準確分割結(jié)果的邊界像素占真實圖像分割邊界像素的比例，其數(shù)值越小，表示分割的精度越高。將真實邊界像素集合表示為G=g1,g2,…,gk)，超像素分割結(jié)果中的邊界像素集合為H=(h1,h2,…,hL)，欠分割錯誤率在式(16)中定義:

(16)

Figure 8 BRs and UEs for superpixel segmentation圖8 超像素分割的邊界召回率和欠分割錯誤率

實驗分別設(shè)置100，300，500，700和900個初始超像素為實驗節(jié)點，對4種算法進行測試對比。圖8為4種超像素分割算法的邊界召回率和欠分割錯誤率。從圖8中可以看出，本文超像素分割算法通過融合顏色和深度信息，提高了對物體邊緣尤其是顏色相近的物體邊緣的識別能力，使得分割結(jié)果比對比算法有更高的邊界召回率和更低的欠分割錯誤率。

5 結(jié)束語

針對Kinect相機獲取的原始深度圖像存在空洞的問題，本文提出一種結(jié)合彩色圖像局部邊緣信息的深度圖像空洞修復算法。首先使用雙邊濾波修復較小空洞，根據(jù)有無彩色圖像的局部邊緣信息將較大空洞分為2類，對于第1類空洞進行均值填充修復，對第2類空洞先根據(jù)彩色圖像局部邊緣分割空洞再分別由外而內(nèi)逐步修復，從而完成所有的空洞修復。本文融合空間坐標和顏色信息重新建立了線性譜聚類核函數(shù)，并基于此提出了一種融合深度信息的線性譜聚類超像素分割算法(LSC-D)。實驗結(jié)果表明，本文空洞修復算法與對比算法比較，PSNR和SSIM值至少分別提高了3.601 6和0.022 5，RMSE值至少降低了3.933 6。本文提出的LSC-D超像素分割算法比其他算法有更高的分割精確度和更低的欠分割錯誤率。