操宣鵬　陳一民

(上海大學(xué)計(jì)算機(jī)工程與科學(xué)學(xué)院　上海 200444)

?

基于輪廓的kinect深度圖像的空洞填補(bǔ)

操宣鵬陳一民*

(上海大學(xué)計(jì)算機(jī)工程與科學(xué)學(xué)院上海 200444)

摘要針對(duì)Kinect獲得深度圖噪聲的特點(diǎn)，以及現(xiàn)有去噪算法存在的問(wèn)題，提出一種基于輪廓的自適應(yīng)非對(duì)稱(chēng)高斯濾波方法。該方法針對(duì)Kinect能夠同時(shí)獲得深度圖像和彩色圖像的特點(diǎn)，利用彩色圖找到場(chǎng)景中物體的輪廓；在對(duì)深度圖進(jìn)行填補(bǔ)時(shí)，利用輪廓選取合適的有效點(diǎn)；選取的有效點(diǎn)是非對(duì)稱(chēng)的，所以需要改變高斯濾波的對(duì)稱(chēng)性；另外，改變高斯濾波的尺度，使其隨著被填補(bǔ)區(qū)域深度值的變化而變化，使得高斯濾波具有自適應(yīng)特性。通過(guò)實(shí)驗(yàn)對(duì)比，表明該方法能準(zhǔn)確地填補(bǔ)深度圖的空洞，同時(shí)還能很好地保護(hù)圖像中邊緣信息。

關(guān)鍵詞深度圖空洞輪廓自適應(yīng)非對(duì)稱(chēng)

0引言

增強(qiáng)現(xiàn)實(shí)AR(augmented reality)技術(shù)[1]是一種利用計(jì)算機(jī)系統(tǒng)產(chǎn)生三維信息來(lái)增強(qiáng)用戶(hù)對(duì)現(xiàn)實(shí)世界感知的新技術(shù)。在增強(qiáng)現(xiàn)實(shí)中，虛擬物體模型的建立與真實(shí)感繪制效果會(huì)對(duì)用戶(hù)的感知能力產(chǎn)生影響。從用戶(hù)所處的真實(shí)場(chǎng)景中準(zhǔn)確地重建出真實(shí)物體的三維模型在增強(qiáng)現(xiàn)實(shí)中占有重要的地位。

在三維模型重構(gòu)中，深度圖的準(zhǔn)確獲取是非常關(guān)鍵的一點(diǎn),是后續(xù)所有工作的基礎(chǔ)。利用Kinect來(lái)獲的深度圖像中，噪聲較傳統(tǒng)掃描儀要大，主要分為兩部分：一是噪聲點(diǎn)，是指深度圖像中沒(méi)有獲得深度值的點(diǎn)狀區(qū)域，它是Kinect隨機(jī)生成的，具有不確定性；二是空洞，是指深度圖像中未獲得深度值的塊狀區(qū)域,它是由于Kinect的紅外發(fā)射器和接收器的位置不同，導(dǎo)致景深較大物體在靠近景深較小物體邊緣的時(shí)候，深度信息不能被獲取，形成了較大面積的空洞。這種情況形成的空洞在不改變Kinect和場(chǎng)景相對(duì)位置時(shí)，是不能直接獲得，只能通過(guò)選擇鄰域中的有效深度點(diǎn)進(jìn)行計(jì)算得到。中值濾波算法，Tomasi[2-5]提出的雙邊濾波算法，Chang、Moulin[6-8]等提出的高斯濾波對(duì)于彩色圖像有較好的表現(xiàn)。但是在深度圖中，這些算法不能很好地填補(bǔ)大范圍空洞。Camplani M[9]等提出了基于雙邊濾波改進(jìn)的時(shí)空空洞填補(bǔ)策略，但是該方法時(shí)間復(fù)雜度太高。

本文針對(duì)上述問(wèn)題，提出了一種基于輪廓的自適應(yīng)非對(duì)稱(chēng)高斯濾波算法(OAAG)，較好地解決上述問(wèn)題。

1基于輪廓的OAAG算法空洞填補(bǔ)

本文提出的算法基本思想是：首先,對(duì)Kinect進(jìn)行標(biāo)定；然后對(duì)獲得的同一場(chǎng)景中一系列圖像進(jìn)行處理，在去除零星的噪聲點(diǎn)的同時(shí)，獲得場(chǎng)景的模板深度圖像；再利用獲取的彩色圖片取得場(chǎng)景的輪廓圖；最后利用OAAG算法對(duì)模板深度圖像的空洞進(jìn)行填補(bǔ)，得到最終的深度圖像。

1.1深度圖噪點(diǎn)去除

定義Di(m,n)是獲得的彩色圖對(duì)應(yīng)Kinect獲得的一系列深度圖，深度圖有M×N個(gè)點(diǎn)，那么Di(m,n)∈Q，其中：

Q={Di(m,n)|m∈[1,M]∩n∈[1,N],i∈{1,2,3,…}}

從Kinect視頻流中取出n幀連續(xù)深度圖像：

D1,D2,…,Dn,點(diǎn)(m,n)在這n幀圖像中相應(yīng)位置值定義為：d1(m,n),d2(m,n),d3(m,n),…,dn(m,n)。

(1)

式(1)表示di(m,n)所表示的值是否為有效值，在默認(rèn)的模式下，(0.8～4 m)為有效深度范圍；在近模式下，(0.4～3.5 m)為有效深度范圍。計(jì)算n幅深度圖像中該點(diǎn)深度有效的個(gè)數(shù)Ssum，如果Ssum大于我們給定的閾值則Sth這個(gè)點(diǎn)可以被填補(bǔ)，然后計(jì)算出像素點(diǎn)n副圖像中的平均值davg(m,n)：

(2)

然后把得到davg(m,n)依次記錄到深度模板Dv中對(duì)應(yīng)的位置；否則丟棄。把最后得到的有效的點(diǎn)都記錄得到被填補(bǔ)空洞的深度圖模板Dv：

DV={davg(m,n)|m∈(1,M),n∈(1,N)}

(3)

1.2計(jì)算RGB圖像的梯度圖和提取輪廓

定義C(m,n)表示彩色圖像轉(zhuǎn)換的圖像中，每個(gè)點(diǎn)的梯度變化率，C(m,n)∈P,其中P={C(m,n)|m∈[1,M]∩n∈[1,N]} 。若要得到很好的邊緣信息往往需要達(dá)到亞像素級(jí)別。

首先將彩色圖像按照式(4):對(duì)圖像進(jìn)行灰度化。

Gray=x×B+y×G+z×R

(4)

其中x+y+z=1,x、y、z的選取根據(jù)圖像選?。蝗缓髮?duì)灰度圖進(jìn)行輪廓提取。圖像中邊緣通常是灰度值急劇變化部分，而梯度值反映為一階導(dǎo)數(shù)的二維等效函數(shù)式。本文采用改進(jìn)的Canny算法[10]進(jìn)行輪廓提取。x、y方向的梯度計(jì)算公式：

(5)

在改進(jìn)的Canny算法中，對(duì)于梯度的計(jì)算選取的是Isotropic Sobel模板[11]，x、y方向的方差fx(m,n)、fy(m,n)分別為：

fx(m,n)=2I[m+1,n]-2I[m-1,n]+I[m+1,n+1]-I[m-1,n+1]+I[m+1,n-1]-I[m-1,n-1]fy(m,n)=2I[m,n+1]-2I[m,n-1]+I[m-1,n+1]-I[m-1,n-1]+I[m+1,n+1]-I[m+1,n-1]

(6)

其中：I[m,n]=(▽G(m,n))×davg(m,n)=▽(G(m,n)×davg(m,n))G(m,n)是圖像高斯平滑濾波核；f(m,n)為原像素點(diǎn)的值。我們得到的該點(diǎn)的幅值方向：

(7)

θ(m,n)=arctan(fy[m,n]/fx[m,n])

(8)

Isotropic Sobel算子不僅能解決計(jì)算梯度幅值時(shí)準(zhǔn)確邊緣定位問(wèn)題，還能抑制噪聲。

利用插值法改進(jìn)傳統(tǒng)的Canny算法中非極大值抑制，根據(jù)該點(diǎn)的fx、fy符號(hào)、方向以及θ值進(jìn)行選取插值的點(diǎn)，最后得到：

(9)

其中r(H1)、r(H2)、r(H3)、r(H4)，分別為該點(diǎn)四周選取的插值點(diǎn)的幅值，若r(m,n)>X1、r(m,n)>X2同時(shí)成立，則r(m,n)為極大值點(diǎn)。最后對(duì)梯度進(jìn)行雙閾值處理得到輪廓。

1.3OAAG權(quán)值計(jì)算

對(duì)獲得的深度模版進(jìn)行空洞填補(bǔ)：設(shè)置一個(gè)W:Z×Z的滑動(dòng)窗口，對(duì)窗口內(nèi)的空洞點(diǎn)進(jìn)行填補(bǔ)。首先判斷窗口內(nèi)的Davg的比例Davg% ，即窗口內(nèi)有效的深度值點(diǎn)的個(gè)數(shù)和窗口內(nèi)總的點(diǎn)數(shù)比例，如果Davg%小于給定的閾值Dth%。那就暫時(shí)不對(duì)這個(gè)窗口內(nèi)的中心點(diǎn)進(jìn)行填補(bǔ)，等待下一次遍歷時(shí)候處理；如果大于Dth%，則再判斷窗口中是否有輪廓點(diǎn)，如果沒(méi)有輪廓點(diǎn)，則對(duì)中心點(diǎn)進(jìn)行立即填補(bǔ)，如果含有輪廓點(diǎn)，那么這些輪廓信息會(huì)把窗口內(nèi)的深度點(diǎn)分割成幾個(gè)部分，需要分別對(duì)這幾個(gè)部分的中心點(diǎn)進(jìn)行填補(bǔ)，分別對(duì)這些部分的有效點(diǎn)比例進(jìn)行計(jì)算，這個(gè)比例應(yīng)該是每個(gè)部分的有效像素點(diǎn)個(gè)數(shù)和該部分總的像素點(diǎn)個(gè)數(shù)的比例?？催@個(gè)比例是否大于給定的閾值Dth%,若小于閾值，則暫時(shí)不對(duì)該部分中心點(diǎn)進(jìn)行填補(bǔ)；若大于閾值，則對(duì)這部分的中心點(diǎn)進(jìn)行填補(bǔ)。

基于輪廓的自適應(yīng)非對(duì)稱(chēng)高斯濾波(OAAG)鄰域各點(diǎn)的權(quán)值計(jì)算表達(dá)式為：

(10)

其中：

(11)

式中，ε需要用實(shí)驗(yàn)確定。若被填補(bǔ)的點(diǎn)的窗口中沒(méi)有輪廓，則g(Z)=1。

若被填補(bǔ)的點(diǎn)的窗口中有輪廓，則：

(12)

對(duì)權(quán)值進(jìn)行歸一化：

(13)

式中，W(m,n),即為最后的權(quán)值。

n為窗口內(nèi)有效深度點(diǎn)個(gè)數(shù)。窗口每次移動(dòng)一個(gè)像素，窗口遍歷完所有深度點(diǎn)后，判斷填補(bǔ)的效果是否達(dá)到要求，若沒(méi)有，則根據(jù)對(duì)效果的需求選擇需要的迭代次數(shù)，直至得到最后的深度圖Dlast。

算法的流程圖如圖1所示。

圖1　算法流程圖

2實(shí)驗(yàn)結(jié)果和比較

在實(shí)驗(yàn)之前，首先對(duì)Kinect進(jìn)行標(biāo)定和對(duì)齊，以便獲取的彩色圖和深度圖能夠?qū)R。

2.1本文算法與傳統(tǒng)濾波算法比較

目前常見(jiàn)的深度圖去噪和空洞填補(bǔ)的方法有中值濾波、雙邊濾波、高斯濾波等。下面是分別用這些傳統(tǒng)的去噪算法和OAAG算法對(duì)Kinect獲得的深度圖進(jìn)行空洞填補(bǔ)，并進(jìn)行比較?；瑒?dòng)窗口設(shè)為5×5。

圖2為深度圖對(duì)應(yīng)的彩色圖，圖3是根據(jù)改進(jìn)的Canny算法，從彩色圖中獲取的輪廓圖。

圖2　彩色圖像　　　　　　圖3　輪廓提取

圖4、圖5分別是深度模版圖所對(duì)應(yīng)的Matlab顯示的立體視圖和平面視圖，在圖5中可以很直觀(guān)地看出對(duì)應(yīng)輪廓的部分出現(xiàn)了較大面積的空洞；對(duì)應(yīng)在Matlab中，x、y軸表示該點(diǎn)在深度圖中對(duì)應(yīng)的坐標(biāo)位置，單位是一個(gè)像素；z軸表示深度圖中的深度值，單位是一個(gè)灰度值(深度值映射到灰度圖像的一個(gè)像素值)。圖像4中純黑色部分表示空洞。不同的灰度值代表著不同的深度。

圖4　深度圖(Matlab)　　　圖5　深度圖原圖

圖6和圖7分別表示中值濾波后深度圖由Matlab顯示的立體效果圖和平面效果圖，從平面圖中可以看出對(duì)深度圖中零星的噪聲點(diǎn)處理的很好，但是對(duì)于空洞的填補(bǔ)效果比較差，并且在邊緣處有明顯的模糊。對(duì)空洞處理效果很差。

圖6　中值濾波多次迭代效果(Matlab)　　　　　圖7　中值濾波迭代多次效果

圖8和圖9分別表示深度圖雙邊濾波處理后過(guò)后Matlab立體顯示和平面顯示的效果圖。從兩個(gè)效果圖中可以看出圖像邊緣被明顯的模糊，但空洞并沒(méi)有很好的得到填補(bǔ)。

圖8　雙邊濾波效果(Matlab)　　圖9　雙邊濾波效果

圖10和圖11分別表示深度圖高斯濾波多次迭代過(guò)后由Matlab立體顯示和平面顯示的效果圖。傳統(tǒng)高斯濾波對(duì)圖像邊緣的模糊過(guò)于嚴(yán)重，多次迭代過(guò)后邊緣基本模糊不清。

圖10　高斯濾波多次迭代效果(Matlab)　　　　　圖11　高斯濾波迭代多次效果

圖12和圖13分別是OAAG對(duì)空洞填補(bǔ)完成后，由Matlab顯示的立體顯示和平面顯示圖。在圖12中，在相應(yīng)的輪廓邊上的顏色分別和輪廓兩邊的顏色相同，也就是輪廓兩邊的深度值分別和鄰近的深度值相近。可以得出該算法對(duì)空洞填補(bǔ)的深度值和實(shí)際值相近，很好地對(duì)空洞進(jìn)行了填補(bǔ)。圖13中顯示出的輪廓和圖3中的輪廓一致，并且空洞填補(bǔ)的效果很好。

圖12　深度圖OAAG多次迭代效果(Matlab)　　圖13　深度圖OAAG多次迭代效果

從上述實(shí)驗(yàn)中可以看出，本文提出的OAAG算法能夠很好地解決傳統(tǒng)濾波算法對(duì)深度圖空洞填補(bǔ)的缺點(diǎn)，在有效填補(bǔ)空洞的同時(shí)能夠很好地解決邊緣模糊問(wèn)題。填補(bǔ)后的深度值也較為精確。

2.2深度圖處理前后的彩色紋理貼合效果比較

最后，我們將處理前后的深度圖分別與RGB圖像融合，按照對(duì)應(yīng)坐標(biāo)，把彩色紋理貼合到深度圖中，最后通過(guò)點(diǎn)云庫(kù)(PCL)顯示出來(lái)。

從圖14和圖15可以看出，填補(bǔ)后的深度圖貼合紋理信息后效果很好，可以使得三維重建的效果反映更真實(shí)的場(chǎng)景信息。

圖14　Kinect獲得原始深度圖　　　　圖15　處理后深度圖的融合效圖的融合效果圖

3結(jié)語(yǔ)

本文提出的基于輪廓的自適應(yīng)非對(duì)稱(chēng)高斯濾波方法，通過(guò)彩色圖中精確的輪廓信息來(lái)保存深度圖中輪廓信息，保證在提高深度值填補(bǔ)準(zhǔn)確性的同時(shí)，邊緣在去噪過(guò)程中不會(huì)被模糊。文中提出的OAAG算法經(jīng)過(guò)與傳統(tǒng)算法的實(shí)驗(yàn)比較，明顯提高了填補(bǔ)效果，并且填補(bǔ)的信息的準(zhǔn)確性也要優(yōu)于傳統(tǒng)算法。通過(guò)該方法填補(bǔ)的深度圖用于三維場(chǎng)景重建，可以更好地應(yīng)用于

增強(qiáng)現(xiàn)實(shí)系統(tǒng)中，增加沉浸感的同時(shí)，也為三維注冊(cè)、虛實(shí)融合、虛實(shí)交互等提供便利。

參考文獻(xiàn)

[1] 陳一民,李啟明,馬德宜,等.增強(qiáng)虛擬現(xiàn)實(shí)技術(shù)研究及其應(yīng)用[J].上海大學(xué)學(xué)報(bào):自然科學(xué)版,2011,17(4):412-428.

[2] Smith S M,Brady J M.SUSAN a new approach to low level image processing[J].International Journal of Computer Vision,1997,23(1):45-78.

[3] Tomasi C,Manduchi R.Bilateral filtering for gray and color images[C]//Computer Vision,1998.Sixth International Conference on.IEEE,1998:839-846.

[4] 靳明,宋建中.一種自適應(yīng)的圖像雙邊濾波方法[J].光電工程,2004(7):65-68.

[5] 杜小燕,姜曉峰,郝傳剛,等.點(diǎn)云模型的雙邊濾波去噪算法[J].計(jì)算機(jī)應(yīng)用與軟件,2010,27(7):245-246,264.

[6] Chang S G,Bin Y M Vetterli.Adaptive wavelet thresholding for image denoising and compression[J].IEEE Transactions on Image Processing,2000,9(9):1532-1546.

[7] Chang S G,Bin Y,Vetterli M.Spatially adaptive wavelet thresholding with context modeling for image denoising[C]//International Conference on Image Processing (ICIP 98),1998:535-539.

[8] Moulin P,Juan L.Analysis of multiresolution image denoising schemes using generalized Gaussian and complexity priors[J].IEEE Transactions on Information Theory,1999,45(3):909-919.

[9] Camplani M,Salgadol.Efficient spatio-temporal hole filling strategy for kinect depth maps[C]//Proceedings of SPIE,2012:8920.

[10] 張玲艷,閏麗,王大凱.圖像梯度分類(lèi)的概率模型及在邊緣檢測(cè)中的應(yīng)用[J].Computer Engineering and Applications,2010,46(18):180-182.

[11] Kanopoulos N,Vasanthavada N,Baker R L.Design of an image edge detection filter using the Sobel operator[J].Solid-State Circuits,IEEE Journal of,1988,23(2):358-367.

KINECT DEPTH IMAGE HOLE FILLING BASED ON CONTOUR

Cao XuanpengChen Yiming*

(SchoolofComputerEngineeringandScience,ShanghaiUniversity,Shanghai200444,China)

AbstractFor the noise characteristics of depth map obtained by Kinect and the problems of existing denoising algorithm, we presented a contour-based adaptive asymmetric Gaussian filtering methods (OAAG). This method, aiming at the characteristic of Kinect that it can obtain the depth image and colour image simultaneously, uses colour image to find objects’ contour in the scene. When filling the depth, it selects the appropriate points with contour. Since the selected points are asymmetric, so it needs to change the symmetry of Gaussian filtering. Moreover, it changes the scale of Gaussian filtering to make it vary along with the changes of depth value of the area to be filled, this enables the Gaussian filtering to be adaptive. It is demonstrated through experimental comparison that the method can accurately fill the hole of depth image, and meanwhile it can well protect the edge information of image as well.

KeywordsDepth mapHoleContourAdaptiveAsymmetric

收稿日期：2015-01-12。國(guó)家科技支撐計(jì)劃課題(2006BAK13B10)；上海市科委基金項(xiàng)目(12510708400)；上海市國(guó)際合作基金項(xiàng)目(0951 0700900)。操宣鵬，碩士生，主研領(lǐng)域：圖像處理，增強(qiáng)現(xiàn)實(shí)。陳一民，教授。

中圖分類(lèi)號(hào)TP391.41

文獻(xiàn)標(biāo)識(shí)碼A

DOI:10.3969/j.issn.1000-386x.2016.05.047