袁藝天，林春雨，趙 耀，姚 超，劉美琴

1．北京交通大學(xué) 計(jì)算機(jī)與信息技術(shù)學(xué)院，北京 100044;2．北京交通大學(xué) 現(xiàn)代信息科學(xué)與網(wǎng)絡(luò)技術(shù)北京市重點(diǎn)實(shí)驗(yàn)室，北京 100044)

獲取三維場景相對于攝像機(jī)的距離是計(jì)算機(jī)視覺研究中最基礎(chǔ)的內(nèi)容之一，場景中各點(diǎn)相對于攝像機(jī)的距離可以用深度圖像來表示，即深度圖像中某一點(diǎn)的像素值表示對應(yīng)場景中某一點(diǎn)相對于攝像機(jī)的距離。深度圖像表征了物體的第三維度信息，因此在三維重建、模式識(shí)別、人機(jī)交互等研究中有重要應(yīng)用。

目前機(jī)器視覺系統(tǒng)獲取場景深度圖像的技術(shù)可分為被動(dòng)光方法和主動(dòng)光方法兩大類。被動(dòng)光方法的基本原理是從兩個(gè)(或多個(gè))視點(diǎn)觀察同一景物，以獲取在不同視角下的感知圖像，通過三角測量原理計(jì)算圖像像素間的位置偏差(即視差)來獲取景物的三維信息，生成深度圖像。然而被動(dòng)光方法需要嚴(yán)格的約束條件和精確的校正，且時(shí)間復(fù)雜度也較高，在實(shí)際應(yīng)用中較少采用。主動(dòng)光方法是指視覺系統(tǒng)首先向場景發(fā)射能量，然后接收場景對所發(fā)射能量的反射能量，通過計(jì)算，獲得場景的深度信息。目前依據(jù)此類方法設(shè)計(jì)的Kinect攝像機(jī)就是通過向測量空間投射紅外光，從而在物體表面形成紅外散斑，通過對散斑與攝像機(jī)距離的標(biāo)定來獲取物體的深度信息。通過此種方式能迅速生成深度圖像，且成本較低，但獲取的深度圖像與同時(shí)獲取的顏色圖像相比，存在分辨率較低的問題，不利于后續(xù)工作的進(jìn)行，限制了其在實(shí)際中的應(yīng)用。所以需要設(shè)計(jì)高效的算法提高深度圖像的分辨率，使其與對應(yīng)顏色圖像具有同樣的大小，即深度圖像的上采樣。

圖像上采樣有一些經(jīng)典的插值算法，例如最鄰近插值算法(Nearest)、雙線性插值算法(Bilinear)和雙三次插值算法(Bicubic)等。最鄰近插值算法即選擇離它所映射到的位置最近的輸入像素的灰度值作為插值結(jié)果，這種算法計(jì)算量雖小，但會(huì)產(chǎn)生明顯的馬賽克現(xiàn)象和鋸齒效應(yīng)。雙線性插值算法則是對最鄰近插值算法的改進(jìn)，它先對水平方向進(jìn)行一階線性插值，然后再在垂直方向上進(jìn)行一階線性插值，綜合二者經(jīng)第三次插值得到最后結(jié)果，經(jīng)此種方法得到的上采樣結(jié)果圖像的鋸齒現(xiàn)象難以察覺，但圖像的邊緣會(huì)產(chǎn)生模糊現(xiàn)象。雙三次插值算法是對雙線性插值算法的改進(jìn)，它不僅考慮了直接鄰點(diǎn)的灰度值對待采樣點(diǎn)的影響，還考慮了鄰點(diǎn)間像素值變化率的影響， 因此所求得的待采樣點(diǎn)像素值更為精確。此算法雖克服了前兩種方法的缺點(diǎn)，邊緣模糊現(xiàn)象也得到改善，但是會(huì)造成原始圖像的細(xì)節(jié)丟失。

這些經(jīng)典的插值算法都是利用待采樣點(diǎn)鄰近點(diǎn)的像素值加權(quán)，得到采樣點(diǎn)的像素值，總體的時(shí)間復(fù)雜度不高，且在圖像的平滑區(qū)域具有不錯(cuò)的處理效果，但是在圖像的邊界區(qū)域不可避免地會(huì)帶來鋸齒效應(yīng)、模糊等問題。此外，這些經(jīng)典的插值算法都是針對2D顏色圖像進(jìn)行設(shè)計(jì)的，而深度圖具有邊緣尖銳且內(nèi)部平滑的特點(diǎn)。深度圖不會(huì)直接呈現(xiàn)在3D顯示端，而是通過視點(diǎn)合成算法映射到其他視點(diǎn)。在視點(diǎn)合成過程中，深度圖的邊緣區(qū)域?qū)铣梢朁c(diǎn)的影響較大。由于經(jīng)典上采樣后的邊緣與顏色圖像的邊緣存在偏差，因此對合成視點(diǎn)造成的誤差較大。

目前大部分深度圖像上采樣算法都是從邊緣及細(xì)節(jié)保持出發(fā)。由于深度信息與其對應(yīng)的顏色信息是對相同三維場景的不同角度描述，二者具有很強(qiáng)的相關(guān)性，因此可以利用顏色圖像指導(dǎo)深度圖像的上采樣。文獻(xiàn)[1]將待上采樣圖像的低紋理區(qū)域與高紋理區(qū)域分別進(jìn)行處理，有效保證了圖像高紋理區(qū)域的細(xì)節(jié)特征。文獻(xiàn)[2]中馬爾可夫隨機(jī)場原形利用顏色信息實(shí)現(xiàn)了深度圖像的上采樣，但顏色信息的利用不夠充分。由于雙邊濾波器綜合使用了空間域距離核函數(shù)和顏色相似核函數(shù)，具有良好的邊緣保持效果，依此思路，文獻(xiàn)[3]首次提出了聯(lián)合雙邊上采樣算法JBU，但是該算法在對應(yīng)相同顏色的深度不連續(xù)區(qū)域?qū)⒊霈F(xiàn)邊緣擴(kuò)散的現(xiàn)象。文獻(xiàn)[4]提出了一種融合顏色相似項(xiàng)和原始深度相似項(xiàng)的插值方法，一定程度上解決了邊緣擴(kuò)散的問題。文獻(xiàn)[5]通過顏色圖計(jì)算出各向異性擴(kuò)散張量來指導(dǎo)深度圖像的上采樣，得到了邊緣平滑的深度圖像，且該算法在時(shí)效性和精確度上都有很大改進(jìn)。文獻(xiàn)[6]提出了深度圖像快速上采樣算法，上采樣深度圖像邊緣的像素值由它鄰近區(qū)域點(diǎn)的像素值篩選而得，篩選的評價(jià)函數(shù)由顏色、空間距離等因素構(gòu)成，非邊緣區(qū)域點(diǎn)的像素值則用雙線性插值算法直接計(jì)算。文獻(xiàn)[7]提出了一種顏色圖像指導(dǎo)的深度圖像濾波方法，對深度圖像的邊緣區(qū)域進(jìn)行修復(fù)，使深度圖像的邊緣準(zhǔn)確度得以提高。

文獻(xiàn)[1-6]都是在深度圖像上采樣的過程中就開始考慮保持邊緣信息，并采用顏色圖像指導(dǎo)等方式對上采樣進(jìn)行處理，但是插值算法本身帶來的邊緣模糊效應(yīng)仍然難以消除?？紤]到同一物體在深度圖像中的深度信息通常一致，而不同物體的交界處才出現(xiàn)深度值的突變，所以深度圖像具有邊界尖銳而局部平滑的特點(diǎn)。針對平滑區(qū)域，采用簡單的插值算法就能夠達(dá)到較好的上采樣效果。而對于邊界區(qū)域，需要對上采樣進(jìn)行干預(yù)，保證其邊緣細(xì)節(jié)。為此，本文將這些邊界區(qū)域提取出來，先采用時(shí)間復(fù)雜度較低的經(jīng)典插值算法，將深度圖像的尺寸擴(kuò)充至與顏色圖像相同，再對此初步上采樣后的深度圖的邊界區(qū)域進(jìn)行后處理。算法在有效保持深度圖中重要邊緣信息的同時(shí)，減少了平滑區(qū)域的處理時(shí)間。

1 算法設(shè)計(jì)

本文所述算法能夠?qū)τ煤唵谓?jīng)典插值算法得到的上采樣深度圖進(jìn)行邊界修復(fù)，使上采樣后的深度圖像邊界能夠和與之匹配的同分辨率的顏色圖像的幾何邊界相吻合，同時(shí)深度圖像邊界區(qū)域比較清晰，消除了經(jīng)典算法帶來的邊界模糊現(xiàn)象。本文所述算法大致分為3部分：(1)用簡單插值算法(例如雙三次插值算法)對深度圖像進(jìn)行初步的上采樣，并提取出初步上采樣后深度圖像的初始邊界；(2)結(jié)合顏色圖像梯度信息，校正深度圖像的初始邊界，使之與顏色圖像的幾何邊界相吻合；(3)用修正后的深度圖像邊界圖指導(dǎo)上采樣深度圖像的邊界修復(fù)。算法總體框圖如圖1所示。

圖1 顏色指導(dǎo)的深度圖像上采樣算法后處理整體框圖

1.1 深度圖像的初步上采樣

設(shè)待上采樣的原始深度圖像為DO，長寬尺寸為其a倍的顏色圖像表示為C(C與DO所示場景一致)。利用簡單的經(jīng)典插值算法將DO放大a倍，得到D′，用canny算子對D′進(jìn)行邊緣檢測，得到E′。

由于圖像像素的灰度值是離散的， 因此一般上采樣算法的處理方法是對原來在整數(shù)點(diǎn)坐標(biāo)上的像素值進(jìn)行插值生成連續(xù)的曲面， 然后在插值曲面上重新采樣以獲得縮放圖像像素的灰度值。這種處理是全局的，在圖像的平滑區(qū)域仍然能保證上采樣結(jié)果圖像的平滑性，但是在圖像像素灰度值突變的區(qū)域，由于待采樣點(diǎn)的灰度值是由臨近各點(diǎn)灰度值采用各種模式的加權(quán)平均方法得到的，必然造成邊界兩側(cè)區(qū)域各點(diǎn)的灰度值差異減小，造成邊界模糊的現(xiàn)象。圖2(a)為上采樣前的局部區(qū)域圖像，經(jīng)Bicubic算法進(jìn)行上采樣后這一圖像區(qū)域如圖2(b)所示，可見圖像邊緣十分模糊，且上采樣后深度圖的邊界與顏色圖邊界吻合度很低。而改進(jìn)后的具有保邊效果的上采樣算法，例如聯(lián)合雙邊上采樣，由于同時(shí)考慮了空間域和像素值域的影響，一定程度改善了邊緣模糊的現(xiàn)象，但是邊界區(qū)域仍然影響著圖像的質(zhì)量，所以直接上采樣得到的D′的邊界區(qū)域需要進(jìn)一步修復(fù)。由于D′邊界區(qū)域的模糊現(xiàn)象，在用canny算子檢測邊緣時(shí)，邊界點(diǎn)的位置有多種可能性，如圖2(c)所示，邊界線的位置可能有3種，給檢測帶來許多不確定性因素。且提取出的邊緣與和它相匹配的顏色圖像的幾何邊緣公共點(diǎn)很少，如圖2(d)所示，這說明提取出的邊界點(diǎn)位置很不準(zhǔn)確，所以得到的邊界二值圖E′也需要進(jìn)一步校正。

(a)直接上采樣之前的圖像(局部圖像)(b)直接上采樣后的圖像(局部圖像)(c)插值算法給邊緣檢測帶來不確定性(局部圖像)(d)直接上采樣后顏色圖和深度圖的公共邊界圖圖2 深度圖像直接上采樣后存在的問題

1.2 邊界二值圖的校正

要校正二值邊界圖像E′中邊界點(diǎn)的位置，使其邊緣與和它相匹配的顏色圖像的幾何邊緣吻合，就需要利用顏色圖像的信息來指導(dǎo)此校正過程。

圖像邊緣檢測主要是利用圖像某一點(diǎn)的梯度信息來判定該點(diǎn)是否為邊界點(diǎn)，一般認(rèn)為梯度值越大，這一點(diǎn)為邊界點(diǎn)的可能性越大?；诖嗽?，選用顏色圖像的梯度信息來指導(dǎo)校正過程。但有時(shí)某些梯度幅值較大的點(diǎn)不一定是邊緣點(diǎn)，圖3(a)是一副原始的顏色圖像，對此圖像進(jìn)行邊緣檢測，提取出的邊界有兩種可能性，一種是物體的幾何邊界，一種則是圖像紋理區(qū)域的邊界，如圖3(b)所示。而在深度圖像中，即便某一區(qū)域?qū)?yīng)的顏色圖像為紋理圖像，但只要該區(qū)域處于同一深度，那么這一區(qū)域在深度圖像中仍是平滑的。同一物體的各個(gè)部位深度值往往差別不大，只有在物體的交界處，或是前景物體與背景的交界處，才會(huì)出現(xiàn)深度值的突變，所以檢測深度圖像的邊界，得到的一般是物體的幾何邊界，檢測圖3(c)為原始深度圖像的邊緣，得到的結(jié)果如圖3(d)所示。僅需要用顏色圖像提取出的幾何邊界來指導(dǎo)校正上采樣后深度圖像的邊界點(diǎn)，因此在校正時(shí)，要排除掉紋理區(qū)域邊界對這一過程的干擾。雖然E′中邊界點(diǎn)的位置不是十分準(zhǔn)確，但是每一個(gè)待校正邊界點(diǎn)與正確邊界點(diǎn)間的距離并不會(huì)太大，所以在校正過程中，只需在待校正邊界點(diǎn)鄰近的區(qū)域中搜尋正確的邊界點(diǎn)并記錄下來。

(a)顏色圖像(b)顏色圖像邊界(c) 深度圖像(d) 深度圖像邊界圖3 深度圖像與顏色圖像對比

下文為對校正過程的具體描述。對二值邊界圖像E′中的每個(gè)邊界點(diǎn)做如下處理：設(shè)E′中某一邊界點(diǎn)為P，只對P點(diǎn)在水平或豎直的某一個(gè)方向上進(jìn)行校正，該校正方向應(yīng)該與P點(diǎn)對應(yīng)于DO中邊界區(qū)域深度值的突變方向一致。校正方向具體判定方式如下：逆向找到P點(diǎn)在原始深度圖DO上的對應(yīng)點(diǎn)p，求出p點(diǎn)的左右兩側(cè)和上下兩側(cè)像素點(diǎn)的灰度差值，分別稱為水平差值和豎直差值，如果其水平差值大于等于豎直差值，那么認(rèn)為P點(diǎn)需要進(jìn)行水平方向上的位置校正，否則，進(jìn)行豎直方向上的位置校正。如圖4所示，待校正邊界點(diǎn)由于在原始深度圖DO對應(yīng)點(diǎn)處的水平像素差值小于豎直像素差值，故應(yīng)做豎直方向上的邊界點(diǎn)校正。

(a)原始深度圖對應(yīng)點(diǎn)區(qū)域(b)待校正的邊界點(diǎn)區(qū)域圖4 邊界點(diǎn)校正方向判定示例圖

若需要進(jìn)行水平方向上的位置校正，則尋找P點(diǎn)在C中的對應(yīng)點(diǎn)PC，以PC點(diǎn)為中心，左右各取r個(gè)連續(xù)的象素點(diǎn)為待考察點(diǎn)，所有的待考察點(diǎn)組成待考察區(qū)域R。若M為某一待考察點(diǎn)，且其水平梯度值大于PC點(diǎn)的水平梯度值，那么M就有可能是正確的邊界點(diǎn)，但考慮到顏色圖像中即使在同一深度處，由于顏色紋理信息的干擾，也會(huì)出現(xiàn)水平梯度值較大的情況，但深度圖中沒有紋理信息干擾，所以需要利用D′的深度信息，交叉驗(yàn)證M點(diǎn)是否為正確的邊界點(diǎn)。尋找M點(diǎn)在D′中的對應(yīng)點(diǎn)Md，若Md點(diǎn)的水平梯度值大于某一閾值thresh，則認(rèn)為M點(diǎn)是正確的幾何邊界點(diǎn)，將P點(diǎn)在E′中的位置修正至M點(diǎn)的對應(yīng)位置。若有多個(gè)M點(diǎn)滿足條件，則取在顏色圖待考察區(qū)域上水平梯度最大的點(diǎn)為校正點(diǎn)。豎直方向上位置校正與水平方向類同。

設(shè)P點(diǎn)在E′中的位置為(x0,y0)，校正一次后P點(diǎn)的位置為(xg,yg)。

若P點(diǎn)判定為應(yīng)在水平方向上進(jìn)行校正，那么在R區(qū)域?qū)ふ业降男Ｕc(diǎn)M必須滿足此點(diǎn)對應(yīng)的顏色圖像水平梯度域比P點(diǎn)對應(yīng)的大，且在初步上采樣深度圖中M點(diǎn)的水平梯度域大于某一閾值thresh。即，當(dāng)gradx(p)≥grady(p)時(shí)

(xg,yg)=(xM,yM)M|M∈R,gradx(M)>

gradx(PC),gradx(Md)>thresh

在豎直方向上校正也是類似的，當(dāng)gradx(p)

(xg,yg)=(xM,yM)M|M∈R,grady(M)>

grady(PC),grady(Md)>thresh

按照以上方式反復(fù)校正，直至校正前后邊界圖像不發(fā)生變化為止，最后得到的邊界圖像為E。

1.3 初次上采樣深度圖像D′的邊界修復(fù)

由1.2節(jié)得到的E，其邊界與C的幾何邊界是吻合的，利用E來指導(dǎo)修復(fù)D′的邊界區(qū)域，達(dá)到消除D′邊界模糊，且上采樣深度圖與顏色圖幾何邊界一致的效果。

(a)雙三次插值后的圖像(局部)(b)尋找填充灰度值(局部)(c)填充修復(fù)邊界區(qū)域(局部)(d)修復(fù)完畢后(局部)圖5 深度圖像局部后處理過程及結(jié)果

2 實(shí)驗(yàn)結(jié)果

通過觀察初步上采樣后的深度圖像邊緣細(xì)節(jié)，標(biāo)定測量邊界模糊區(qū)域的空間范圍，對比模糊區(qū)域相近像素值的差異，反復(fù)試驗(yàn)，對于Bicubic算法取參數(shù)r=3，thresh=3，對于Bilinear算法取r=2，thresh=3，實(shí)施效果最佳。

為驗(yàn)證本文算法的可行性和有效性，以Bilinear、Bicubic算法為基礎(chǔ)，分別在初次上采樣完成后采用本文所述后處理算法進(jìn)行二次優(yōu)化。實(shí)驗(yàn)數(shù)據(jù)采用了middlebury[8，9]標(biāo)準(zhǔn)數(shù)據(jù)集Teddy、Reindeer、Bowling、Cones、Art，原始深度圖像分辨率分別為375×450、555×671、555×626、375×450、555×695，對應(yīng)的彩色圖像分辨率分別是750×900、1110×1342、1110×1252、750×900、1110×1390，即上采樣的2倍。針對Teddy、Cones數(shù)據(jù)集，進(jìn)行上采樣4倍的操作，深度圖像上采樣4倍對應(yīng)的顏色圖像分辨率為1500×1800。

2.1 校正前后深度圖邊界線與顏色圖邊界線公共點(diǎn)數(shù)目對比

在Teddy、Cones、Bowling、Reindeer、Art5組實(shí)驗(yàn)數(shù)據(jù)下，后處理算法在校正深度圖邊界線前后，其邊界線與顏色圖邊界線公共點(diǎn)的數(shù)目見表1。針對Teddy、Cones數(shù)據(jù)集，上采樣2倍前后，其深度圖與顏色圖的公共邊界線對比示圖如圖6所示。

表1 后處理前后邊界線公共點(diǎn)個(gè)數(shù)對比

(a)Teddy校正前的公共邊界線(b)Teddy校正后的公共邊界線(c)Cones校正前公共邊界線(d)Cones校正后公共邊界線圖6 校正操作前后深度圖與顏色圖公共邊界線對比示圖

由表1知，經(jīng)本文算法校正后，上采樣深度圖邊界與顏色圖幾何邊界公共點(diǎn)的個(gè)數(shù)明顯增加，校正后的個(gè)數(shù)平均約為校正前的2倍以上。由圖6(a)和圖6(b)對比可見，本文所提算法獲得的邊界更加連續(xù)，可以直觀地看到公共點(diǎn)數(shù)目的增加，證明本文所述算法的確能使上采樣深度圖的邊界與顏色圖的幾何邊界相吻合。

2.2 與guidedfilter后處理方法對比

顏色圖像指導(dǎo)的針對深度圖像的濾波方法guidedfilter[7]能使濾波后的深度圖像具有良好的邊緣準(zhǔn)確度，且深度圖與顏色圖的合成視點(diǎn)效果也較好。由Bicubic， Bilinear方法上采樣以后得到初步深度圖，分別用guidedfilter方法及本文所述算法進(jìn)行濾波后處理，將所得的深度圖像分別與顏色圖像進(jìn)行合成視點(diǎn)，生成I1、I2，再將標(biāo)準(zhǔn)深度圖和顏色圖合成視點(diǎn)，生成I0。計(jì)算I1與I0的峰值信噪比，I2與I0的峰值信噪比，所得結(jié)果見表2。guidedfilter方法和本文所述方法后處理得到的深度圖與顏色圖的合成視點(diǎn)圖如圖7所示。

表2 本文后處理算法與guidedfilter后處理對比的合成視點(diǎn)圖PSNR

圖7 guidedfilter方法與本文算法所得深度圖與顏色圖合成視點(diǎn)圖對比

由表2可知，經(jīng)本文所述后處理算法得到的深度圖與顏色圖的合成視點(diǎn)I2和由guidedfilter方法所得的I1相比，I2與真實(shí)深度圖合成視點(diǎn)I0的PSNR更大，將深度圖上采樣2倍時(shí)，PSNR平均提高了約10.9%，上采樣4倍時(shí)，PSNR平均提高了約3.7%。這說明本文所述算法對深度圖像的邊緣修復(fù)是有效的，使深度圖像邊緣與顏色圖像邊緣的吻合度得到了提高，較guidedfilter方法更優(yōu)。

由圖7可見，本文所述后處理算法在合成視點(diǎn)圖上效果更佳，邊緣毛刺效應(yīng)更少，從主觀視覺效果上說明經(jīng)本文算法得到的深度圖與顏色圖邊緣吻合度更高，合成視點(diǎn)效果更佳。

2.3 深度圖細(xì)節(jié)對比

針對Reindeer圖像[8]，以Bicubic算法為基礎(chǔ)將深度圖上采樣2倍，采用本文所述算法進(jìn)一步優(yōu)化深度圖，對比后處理前后深度圖像局部特征如圖8所示。

(a)后處理前(Reindeer)(b)后處理后(Reindeer)圖8 后處理前后深度圖細(xì)節(jié)對比

由圖8(a)、圖8(b)對比可知，經(jīng)本文所述算法對上采樣深度圖邊界修復(fù)以后，其邊界模糊現(xiàn)象得到了有效改善，邊緣細(xì)節(jié)特征得到了保持。

本文所述的深度圖像后處理算法以顏色圖像的邊界線為參照，對簡單上采樣的深度圖像邊界線進(jìn)行校正，經(jīng)后處理后，深度圖像邊界線與顏色圖像邊界線的公共點(diǎn)增多了約1倍，邊緣吻合度更高，且經(jīng)后處理后的深度圖像與顏色圖像生成的合成視點(diǎn)圖邊界毛刺較少，和標(biāo)準(zhǔn)深度圖像與顏色圖像生成的合成視點(diǎn)圖相比，在上采樣2倍時(shí)，本后處理算法得出結(jié)果的PSNR值比guidedfilter后處理算法平均高出約10.9%，較guidedfilter算法有了很大提升。以校正后的邊界線為界，用深度圖像內(nèi)部平滑區(qū)域的像素值填充深度圖像邊緣兩側(cè)因簡單上采樣帶來模糊效應(yīng)的區(qū)域，從主觀視覺上看，深度圖像的邊界模糊現(xiàn)象得到了明顯的改善。

本文所提算法在得到較好質(zhì)量的上采樣圖像的同時(shí)，在時(shí)間復(fù)雜度方面也付出了代價(jià)。經(jīng)初步上采樣后，深度圖像檢測出的每一處邊緣，本后處理算法都要對其進(jìn)行邊界點(diǎn)的校正和對應(yīng)邊緣模糊區(qū)域的填充，若深度圖像邊界點(diǎn)的個(gè)數(shù)為n，算法的總體時(shí)間復(fù)雜度即為O(n)。但場景復(fù)雜的深度圖像邊界點(diǎn)的個(gè)數(shù)往往較多，且校正和填充操作都有相應(yīng)的時(shí)間開銷，所以盡管算法時(shí)間復(fù)雜度隨著邊界點(diǎn)的個(gè)數(shù)呈線性增長，但是算法實(shí)施的時(shí)間耗費(fèi)較大。

3 結(jié)束語

本文通過結(jié)合與深度圖像相匹配的顏色圖像的梯度信息，對用經(jīng)典插值算法得到的上采樣深度圖進(jìn)行邊界線的校正和邊界區(qū)域的填充修復(fù)，通過兩次后處理改進(jìn)了已有的插值算法。實(shí)驗(yàn)結(jié)果表明，本文所述后處理算法具有良好的保邊效果，改善了初次上采樣后深度圖像邊緣模糊的現(xiàn)象，且其邊界能與顏色圖像的幾何邊界更好地吻合。由于本文所述算法是一種基于顏色圖像指導(dǎo)的上采樣深度圖的邊界校正算法，它可以和不同的上采樣算法相結(jié)合，對所得結(jié)果進(jìn)行后期的邊界修復(fù)和優(yōu)化，使其邊界區(qū)域更為清晰，因此具有很好的兼容性。下一步將解決在顏色圖像紋理信息干擾比較多的區(qū)域，對相應(yīng)深度圖像邊界進(jìn)行穩(wěn)定修復(fù)的問題，進(jìn)一步提高深度圖像質(zhì)量。

參考文獻(xiàn)：

[1]GUO N N, SONG L, YANG X K, et al. Image Interpolation Based on Decomposition[C]// International Symposium on Intelligent Signal Processing and Communication Systems (ISPACS), 2010:1-4.

[2]KIM D, YOON K. High-quality Depth Map Up-sampling Robust to Edge Noise of Range Sensors[C]//Orlando: International Conference on Image Processing, 2012:553-556.

[3]KOPF J, COHEN M F. Joint Bilateral Upsampling[J]. ACM Transaction on Graphics, 2007, 26(3):96-100.

[4]CHAN D, BUISMAN H, THEOBALT C,et al. A Noise-aware Filter for Real-time Depth Upsampling[C]//Proc. of Workshop on Multi-camera and Multi-model Sensor Fusion Algorithms and Applications, 2008:1-12.

[5]FERSTL D, REINBACHER C, RANFRL R, et al. Image Guided Depth Upsampling Using Anisotropic Total Generalized Variation[C]// IEEE International Conference on Computer Vision (ICCV), 2013:993-1000.

[6]KIM S Y, HO Y S. Fast Edge-preserving Depth Image Upsampler[J]. IEEE Transactions on Consumer Electronics,2012,58(3):971-977.

[7]HE K M, SUN J, TANG X O. Guided Image Filtering[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2013, 35(6):1397-1409.

[8]SCHARSTEIN D, SZELISKI R. High-accuracy Stereo Depth Maps Using Structured Light[C]//IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR 2003), 2003:195-202.

[9]SCHARSTEIN D, PAL C. Learning Conditional Random Fields for Stereo[C]//IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR 2007), 2007:1-8.