馮策，戴樹(shù)嶺

（北京航空航天大學(xué)自動(dòng)化與電氣工程學(xué)院，北京100191）

遙現(xiàn)中基于顯著特征的深度圖像濾波算法

馮策，戴樹(shù)嶺

（北京航空航天大學(xué)自動(dòng)化與電氣工程學(xué)院，北京100191）

針對(duì)遙現(xiàn)系統(tǒng)中，由于相機(jī)精度、材質(zhì)等原因?qū)е律疃刃畔①|(zhì)量不高，存在缺失以及噪聲等問(wèn)題，提出了基于顯著特征的濾波算法。結(jié)合頻率域的顯著圖分析算法和基于圖的分割算法提取出人類感興趣的顯著區(qū)域，針對(duì)這部分區(qū)域利用聯(lián)合雙邊濾波法進(jìn)行重點(diǎn)處理。實(shí)驗(yàn)結(jié)果表明，該算法在有效抑制了平坦區(qū)域的噪聲的同時(shí)，增強(qiáng)了顯著區(qū)域深度圖像的細(xì)節(jié)，并填補(bǔ)了邊緣部分的缺失，實(shí)現(xiàn)了實(shí)時(shí)條件下深度圖像的有效濾波。

深度圖；聯(lián)合雙邊濾波法；顯著圖；遙現(xiàn)；圖像分割；濾波算法

遙現(xiàn)是一種致力于為本地用戶呈現(xiàn)遙遠(yuǎn)現(xiàn)場(chǎng)體驗(yàn)感的技術(shù)。通過(guò)傳感器獲取遠(yuǎn)程的深度信息和彩色信息，實(shí)時(shí)傳輸?shù)奖镜兀瑸楸镜赜脩魳?gòu)建起遠(yuǎn)程的三維場(chǎng)景，使用戶能夠身臨其境。近年來(lái)，這一技術(shù)在航天領(lǐng)域、3D視頻通信［1］以及遠(yuǎn)程手術(shù)中都得到了廣泛的應(yīng)用，但是由于相機(jī)的自身精度以及對(duì)象材質(zhì)等原因，導(dǎo)致獲取的深度信息質(zhì)量欠佳，若直接用于遠(yuǎn)程顯示，效果較差，所以，如何改善深度圖像的質(zhì)量，提升遠(yuǎn)程的重構(gòu)效果，是遙現(xiàn)系統(tǒng)中應(yīng)當(dāng)首要解決的問(wèn)題。

近幾年，隨著深度傳感器發(fā)展，研究人員在深度圖像處理方面做出了許多的卓越工作［2-6］。傳統(tǒng)保持邊緣的濾波算法能有效改善深度圖像的質(zhì)量，但是存在修復(fù)質(zhì)量和計(jì)算速度上相互制約的問(wèn)題，無(wú)法滿足遙現(xiàn)系統(tǒng)的需求，其中利用高斯核的保邊濾波法［3-5］處理圖像時(shí)需要較大尺寸的濾波窗口，導(dǎo)致計(jì)算速度低下，無(wú)法滿足實(shí)時(shí)性的需求；而傳統(tǒng)的中值濾波［6］雖然可以快速修復(fù)深度圖，但是沒(méi)有考慮圖像邊緣毛糙的問(wèn)題。因此本文的研究目的是尋找一種方法來(lái)實(shí)現(xiàn)計(jì)算速度和修復(fù)質(zhì)量的平衡。

通過(guò)對(duì)一組深度圖像的觀察和分析，總結(jié)出影響深度圖像質(zhì)量的2個(gè)主要因素：1）由于攝像頭精度問(wèn)題所固有的誤差和光噪聲；2）深度缺失。由于在物體邊緣處存在深度不連續(xù)性，導(dǎo)致在對(duì)象的邊界處會(huì)出現(xiàn)許多缺失。

針對(duì)以上2方面的問(wèn)題，同時(shí)考慮到遙現(xiàn)系統(tǒng)對(duì)于實(shí)時(shí)性的要求，本文提出了一種基于顯著特征的雙邊濾波法來(lái)改善深度圖像的質(zhì)量，只針對(duì)深度圖像的顯著區(qū)域進(jìn)行重點(diǎn)優(yōu)化，一方面可以節(jié)省計(jì)算資源，提升效率，另一方面可以利用顯著圖來(lái)修復(fù)深度圖像的缺失，為遠(yuǎn)程顯示創(chuàng)建更為真實(shí)的3D場(chǎng)景，提升用戶的臨場(chǎng)感。

1 算法框架

針對(duì)深度圖像優(yōu)化的需求，濾波算法需要具備4個(gè)性質(zhì)，即平滑噪聲、修復(fù)缺失、保持細(xì)節(jié)、高效性。

對(duì)于抑制噪聲同時(shí)保持細(xì)節(jié)的要求，雙邊濾波法是最常用的算法，經(jīng)典雙邊濾波法可以修復(fù)深度圖像中較小的缺失，但對(duì)于較大的缺失則無(wú)能為力，而且對(duì)于質(zhì)量較差圖片需要較大半徑的濾波器來(lái)處理，實(shí)時(shí)性也無(wú)法滿足要求。

由于人類視覺(jué)主要集中在圖像的某些關(guān)鍵區(qū)域，因此只針對(duì)這些區(qū)域進(jìn)行雙邊濾波，可以優(yōu)先的分配計(jì)算資源，實(shí)現(xiàn)濾波的高效性，同時(shí)可以利用相應(yīng)的彩色紋理圖對(duì)深度圖像進(jìn)行修復(fù)，基于以上考慮，本文研究算法的主要步驟如下：

1）計(jì)算彩色圖的顯著特征；

2）利用圖像分割方法提取顯著區(qū)域；

3）將顯著圖作為雙邊濾波的引導(dǎo)圖，對(duì)深度圖的顯著區(qū)域進(jìn)行濾波；

4）對(duì)深度圖的非顯著區(qū)域進(jìn)行高斯濾波。

2 聯(lián)合顯著特征的濾波算法

在圖像中，顯著區(qū)域是人類的注意力最為集中的某些區(qū)域，也是圖像中最能表現(xiàn)圖像內(nèi)容的區(qū)域。顯著區(qū)域是由視覺(jué)特殊性以及圖像中的顏色、亮度、邊緣等特征所決定的。計(jì)算機(jī)視覺(jué)領(lǐng)域利用數(shù)學(xué)模型模擬了人類視覺(jué)的注意力機(jī)制，提出了自底向上和自頂向下的顯著特征估計(jì)算法，顯著特征估計(jì)目前是自適應(yīng)壓縮，興趣區(qū)域提取任務(wù)中重要的步驟。

2.1 基于頻率域的顯著特征計(jì)算

根據(jù)本系統(tǒng)對(duì)于實(shí)時(shí)性的需求，本文采用的基于頻率域的顯著性分析算法［7］，該方法優(yōu)點(diǎn)是顯著性區(qū)域細(xì)節(jié)突出，比傳統(tǒng)的顯著圖算法保存了更多的高頻信息，尤其是邊緣部分，如圖2所示，這樣可以更好的提取圖像邊界信息來(lái)修復(fù)圖像邊緣部分的缺失和噪聲。本算法具體算式如下：

式中：Iu是圖像I的算術(shù)平均灰度值，Iwhc是該圖像經(jīng)過(guò)高斯模糊后的圖像，S（x，y）為圖像I的顯著值。

2.2 顯著區(qū)域提取

本文的顯著區(qū)域提取方法首先是利用圖像分割算法對(duì)顯著特征圖進(jìn)行分割，然后再根據(jù)自適應(yīng)閾值提取出顯著區(qū)域。

2.2.1 基于圖的圖像分割算法

文獻(xiàn)［7］中顯著區(qū)域的提取采用mean-shift算法來(lái)進(jìn)行圖像分割，雖然分割效果較好，但是很難滿足實(shí)時(shí)性的需求，所以這里采用基于圖的圖像分割方法［8］，此方法是一種基于貪心選擇的分割方法，該圖像分割算法的運(yùn)行時(shí)間接近于線性，滿足系統(tǒng)對(duì)于實(shí)時(shí)性的要求。該算法更重要的特性在于，重視紋理特征變化較小的部分，這樣更有助于深度圖細(xì)節(jié)部分的修復(fù)。

基于圖的圖像分割方法［8］是通過(guò)2個(gè)特征來(lái)判斷2個(gè)區(qū)域是否應(yīng)該合并：區(qū)域間間距和區(qū)域內(nèi)間距。如果2個(gè)區(qū)域的區(qū)域間間距明顯大于其中任意一個(gè)區(qū)域的區(qū)域內(nèi)間距，則認(rèn)為這2個(gè)區(qū)域不可以合并。分割后提取出的顯著區(qū)域如圖3所示。

圖2 基于頻率域的顯著特征計(jì)算Fig.2 Frequency-tuned salient characteristics computation

圖3 顯著區(qū)域的提取結(jié)果Fig.3 The result of salient region extraction

2.2.2 自適應(yīng)閾值的定義

用基于圖的圖像分割方法提取出顯著區(qū)域，將輸入的顯著圖像分割成若干部分，通過(guò)設(shè)定自適應(yīng)閾值來(lái)判定哪些部分為顯著區(qū)域，一個(gè)部分顯著均值如果大于閾值，則判定此部分為顯著區(qū)域，不滿足條件則為非顯著區(qū)域，如圖3（b）所示，非黑色區(qū)域?yàn)樘崛〉娘@著區(qū)域，黑色區(qū)域則為非顯著區(qū)域。其中自適應(yīng)閾值定義如下：

2.3 改進(jìn)的濾波算法

針對(duì)顯著區(qū)域，本文利用聯(lián)合顯著區(qū)域的雙邊濾波法進(jìn)行處理。針對(duì)非顯著區(qū)域，利用高斯濾波進(jìn)行處理。

圖4 本文算法流程圖Fig.4 Algorithm flowchart

本文算法的流程圖如圖4所示，算法針對(duì)圖像進(jìn)行逐像素的處理，當(dāng)遍歷到顯著區(qū)域的像素時(shí)應(yīng)用聯(lián)合雙邊濾波，此處濾波只利用顯著區(qū)域的鄰域像素進(jìn)行加權(quán)平均；當(dāng)遍歷到非顯著區(qū)域的像素時(shí)則應(yīng)用高斯濾波，此處濾波只利用非顯著區(qū)域的鄰域像素進(jìn)行加權(quán)平均。

經(jīng)典的高斯濾波器是利用局部加權(quán)平均的思想，但缺點(diǎn)是平滑了圖像的同時(shí)，也模糊了圖像的邊緣。為了保持圖像邊緣，Tomasi等提出了雙邊濾波算法［9］，不僅考慮了距離權(quán)重，也考慮到了像素灰度相似性，Petschnig等［10］在雙邊濾波法的基礎(chǔ)上提出了聯(lián)合雙邊濾波的概念。它與雙邊濾波不同的是，聯(lián)合雙邊濾波法的灰度相似性權(quán)重不是基于輸入圖像而是基于引導(dǎo)圖像進(jìn)行計(jì)算的，具體如下：

式中：Ip為輸出圖像，Iq為輸入圖像，g為引導(dǎo)圖的灰度相似度權(quán)重因子，d為幾何相似度的權(quán)重因子。

針對(duì)傳統(tǒng)雙邊濾波法無(wú)法修復(fù)較大缺失的缺點(diǎn)，本文對(duì)雙邊濾波法進(jìn)行了改進(jìn)，一方面可以抑制噪聲，保持細(xì)節(jié)；另一方面可以修復(fù)深度圖像的較大缺失。

傳感器在采集深度圖像的同時(shí)可以獲取相應(yīng)的彩色圖像，因此可以利用彩色圖像中的有效信息來(lái)對(duì)深度圖像進(jìn)行修復(fù)，有效信息包括彩色圖像的梯度、顏色、邊緣、邊界信息等。本文具體思想是利用顯著圖作為濾波算法的引導(dǎo)圖，同時(shí)利用顯著圖的有效信息來(lái)對(duì)深度圖像進(jìn)行修復(fù)。

空間濾波算法是利用鄰域像素的加權(quán)平均對(duì)中心像素進(jìn)行填充，但是深度圖像中存在2種無(wú)效鄰域像素（第1種是缺失像素；第2種是與中心像素不處于同一背景的鄰域像素），即無(wú)法對(duì)中心像素的填充做出貢獻(xiàn)，這2種像素通常存在于邊緣部分。因此，首先需要判斷濾波窗口內(nèi)的像素是否為有效像素，只有有效像素才可以對(duì)中心像素具有貢獻(xiàn)。如圖5所示，判斷鄰域像素是否有效需要同時(shí)滿足3個(gè)方面條件：

1）鄰域像素與待處理的中心像素處于同一區(qū)域內(nèi)（同時(shí)在顯著區(qū)域內(nèi)，或同時(shí)在非顯著區(qū)域內(nèi)）；

2）鄰域像素深度值大于設(shè)定的深度閾值（不是缺失像素）；

3）鄰域像素與中心像素處于同一背景，即在顯著圖中對(duì)應(yīng)位置的顯著值近似。

圖5 濾波窗口Fig.5 Filtering window

圖5 是平滑圖像的窗口，圖5（b）中的右上方框的像素不滿足深度閾值的條件，為無(wú)效像素，左上方框內(nèi)的同時(shí)滿足以上條件，為有效像素。針對(duì)顯著區(qū)域的濾波如下：

其中：

而對(duì)于非顯著區(qū)域，同理改進(jìn)高斯濾波算法，使其去噪同時(shí)，也可以修復(fù)圖像。針對(duì)非顯著區(qū)域的濾波如下：

其中：

式中：Dpb為非顯著區(qū)域的深度圖加權(quán)求和的像素。

3 實(shí)驗(yàn)結(jié)果與分析

在實(shí)驗(yàn)中對(duì)一組真實(shí)圖像采用本文所提出的方法進(jìn)行了濾波。其中，玩具熊和人物2幅圖像來(lái)源于深度相機(jī)拍攝的真實(shí)數(shù)據(jù)，深度圖像分辨率為640×480，另一幅圖像來(lái)源于公開(kāi)測(cè)試集［11］。本文算法在PC機(jī)上（AMD2.6 Hz四核CPU，2 G內(nèi)存），針對(duì)深度相機(jī)采集到的640×480分辨率的人物視頻上進(jìn)行了平均耗時(shí)的測(cè)試，本文采用14×14大小的窗口濾波器，同等窗口大小的雙邊濾波法平均耗時(shí)為1.36 s，而本文算法平均耗時(shí)為0.467 s（其中顯著特征計(jì)算、顯著區(qū)域提取、高斯濾波和雙邊濾波的平均耗時(shí)分別為為0.034，0.04，0.393 s），滿足實(shí)時(shí)性的要求。

由圖6所示，隨著顯著區(qū)域面積增加，雙邊濾波處理的圖像面積也隨之增大，因此耗時(shí)也逐漸呈上升趨勢(shì)。

圖6 耗時(shí)分析Fig.6 Time comsumption analysis

圖7 為顯著區(qū)域提取的過(guò)程，圖8為本文算法濾波結(jié)果圖，實(shí)驗(yàn)中與雙邊濾波法進(jìn)行比較，圖8（d）是細(xì)節(jié)放大圖，圓框內(nèi)是本文算法針對(duì)邊緣毛糙的平滑效果，方框內(nèi)是針對(duì)較大缺失的修復(fù)結(jié)果，橢圓框內(nèi)是對(duì)于細(xì)節(jié)部分的保持，可以從對(duì)比中看出本文算法對(duì)于玩具熊的領(lǐng)結(jié)等細(xì)節(jié)部分給予了很好保持。圖9是公開(kāi)測(cè)試集的測(cè)試結(jié)果，與經(jīng)典雙邊濾波結(jié)果進(jìn)行了比較，本文算法邊緣的優(yōu)化效果比較理想。

圖7 顯著區(qū)域提取Fig.7 Extraction of salient region

圖8 濾波結(jié)果圖Fig.8 Filtering results

4 結(jié)論

本文提出了結(jié)合顯著特征的濾波算法來(lái)修復(fù)深度圖像。采用頻率域的方法和基于圖的圖像分割方法計(jì)算其顯著區(qū)域，針對(duì)深度圖的顯著區(qū)域使用聯(lián)合雙邊濾波法進(jìn)行重點(diǎn)優(yōu)化。

1）該方法一方面利用顯著區(qū)域的特點(diǎn)來(lái)修復(fù)深度圖像的邊緣毛糙和缺失，另一方面對(duì)于人類視覺(jué)敏感區(qū)域進(jìn)行重點(diǎn)濾波，滿足了遙現(xiàn)系統(tǒng)對(duì)于實(shí)時(shí)性的要求。在3幅真實(shí)的圖像數(shù)據(jù)上測(cè)試了本文的方法，細(xì)節(jié)保持效果優(yōu)于傳統(tǒng)雙邊濾波法，缺失修復(fù)效果也較好。

2）本文算法適用于前景部分主要是人物的遙現(xiàn)系統(tǒng)，對(duì)于復(fù)雜背景的情況不是很適用，需要進(jìn)一步的改進(jìn)。在未來(lái)的工作中，將結(jié)合時(shí)間和空間的特性來(lái)改善深度圖像的質(zhì)量。

［1］張兆楊，安平，張之江，等.二維和三維視頻處理及立體顯示技術(shù)［M］.北京：科學(xué)出版社，2010：131-133.

［2］KIM S Y，LEEE K，HO Y S.Generation of ROI enhanced depth maps using stereoscopic cameras and a depth camera［J］.IEEE Transactions on Broadcasting，2008，54：732-740.

［3］KIM S Y，CHO W，KOSCHAN A，et al.Depth map enhancement using adaptive steering kernel regression based on distance transform［J］／／Lecture Notes in Computer Science，2011，6938：291-300.

［4］CAMPLANI M，SALGADO L.Efficient spatio-temporal hole filling strategy for kinect depth maps［C］／／3D Image Processing and Applications.Burlingame：SPIE，2012：8920.［5］MATSUO T，F(xiàn)UKUSHIMA N，ISHIBASHI Y.Weighted joint bilateral filter with slope depth compensation filter for depth map refinement［C］／／VISAPP.Barcelona：Springer，2013：300-309.

［6］MAIMONE A，F(xiàn)UCHS H.Encumbrance-free telepresence system with real-time 3d capture and display using commodity depth cameras［C］／／10th IEEE International Symposium in Mixed and Augmented Reality（ISMAR）.Basel：IEEE，2011：137-146.

［7］ACHANTA R，HEMAMI S，ESTRADA F，et al.Frequency-tuned salient region detection［C］／／Computer Vision and Pattern Recognition.Miami：IEEE，2009：1597-1604.

［8］FELZENSZWALB P F，HUTTENLOCHER D P.Efficient graph-based image segmentation［J］.International Journal of Computer Vision，2004，59（2）：167-181.

［9］TOMASI C，MANDUCHI R.Bilateral filtering for gray and color images［C］／／International Conference on Computer Vision（ICCV）.Bombay：IEEE，1998：839.

［10］PETSCHNIGG G，SZELISKI R，AGRAWALA M.Digital photography with flash and no-flash image pairs［J］.ACM Transactions on Graphics，2004，23（3）：664-672.

［11］SCHARSTEIN D，SZELISKI R.A taxonomy and evaluation of dense two-frame stereo correspondence algorithms［J］.International Journal of Computer Vision，2002，47（1／2／3）：7-42.

The depth map filter algorithm based on salient features in telepresence

FENG Ce，DAI Shuling
（School of Automation Science and Electrical Engineering，Beijing University of Aeronautics and Astronautics，Beijing 100191，China）

In telepresence there are many critical problems，such as low quality depth data，absence of depth information，and noise，which are caused by the precision and material of camera.For solving these problems，a salient features based filter algorithm is proposed.The algorithm first extracts a salient region by the frequency-tuned method and graph-based image segmentation method.Next，the algorithm uses joint bilateral filter to process this region on purpose.Experimental results show that the proposed method can effectively reduce noise，recover the lost region and enhance details at the same time.This allows for achieving filtering depth map effectively in real time.

depth map；joint bilateral filter；salient map；telepresence；image segmentation；filter algorithm

10.3969／j.issn.1006-7043.201307011

http：／／www.cnki.net／kcms／doi／10.3969／j.issn.1006-7043.201307011.html

TN911.73

A

1006-7043（2014）11-1364-05

2013-07-04.網(wǎng)絡(luò)出版時(shí)間：2014-09-25.

國(guó)家自然科學(xué)基金資助項(xiàng)目（50975010）；北京市科委基金資助項(xiàng)目（Z111100074811001）.

馮策（1984-），男，博士研究生；戴樹(shù)嶺（1966-），男，教授，博士生導(dǎo)師.

馮策，E-mail：fengce1984＠163.com.