杜 歆，鄒 瀧

（浙江大學信息與電子工程學系，浙江杭州310027）

視點合成中基于深度的空洞修復

杜 歆，鄒 瀧

（浙江大學信息與電子工程學系，浙江杭州310027）

為提高視點合成中空洞的修復質量，基于樣本圖像修復技術，提出利用深度信息進行修復的方法.通過深度圖預處理、圖像映射變換、合成深度圖修復以及合成視圖修復等步驟，實現(xiàn)對空洞區(qū)域的填充，得到虛擬視點視圖.所提出的深度邊緣單向膨脹預處理方法、先修復合成深度圖再修復合成視圖的策略以及匹配塊的預編輯方法，可以提高最終合成視圖的質量.實驗結果表明：所提出方法在主觀視覺對比、峰值信噪比（PSNR）以及運行耗時上優(yōu)于現(xiàn)有方法，在圖像邊緣連續(xù)性的保持、前景和背景像素滲透現(xiàn)象的消除等方面具有較好的效果.

視點合成；空洞修復；深度圖修復

虛擬視點合成是指用一個或多個視點的真實圖像，通過相應參數(shù)，生成虛擬視點圖像的過程.虛擬視點合成在虛擬現(xiàn)實、三維自由視點電視、人機交互、2D到3D視頻轉換等相關領域有著廣泛的應用.目前，虛擬視點合成主要有2種方法：基于三維模型的繪制（model based rendering，MBR）和基于圖像的繪制（image based rendering，IBR）［1］.其中基于深度圖像的繪制技術（depth image based rendering，DIBR）［2］只須輸入參考視圖和相應的深度圖即可合成虛擬視點圖像，是目前IBR方法中使用較為廣泛的技術.

雖然DIBR易于實現(xiàn)，但是這種方法對深度圖的精確度要求很高.如果深度圖有錯誤，則會給視點合成結果帶來較大的瑕疵，如：繪制后的圖像中存在偽像、空洞等現(xiàn)象.除此之外，遮擋也是造成空洞的主要原因.為了消除這些空洞及偽像，學者們提出了一系列方法，這些方法大致可分為3類.1）層次化的深度圖技術（layered depth image，LDI）［3］，即圖像的每一個像素點包含了多層深度的顏色信息.通過這種方式可以有效填充合成視圖中由于遮擋所產生的空洞區(qū)域.文獻［4］和［5］首先構造了全局背景，并以此為輔助填補映射結果中的空洞.王奎等［6］同樣采用構造全局背景的方法修復Kinect的中深度圖空洞.由于需要采集多層深度的顏色信息，這類方法存在的問題是采樣復雜，數(shù)據量過大.2）深度圖的預處理和合成視圖的后處理.常用的方法是對深度圖進行低通濾波平滑來減少合成視圖中的空洞，并通過均值濾波、像素內插來修復合成視圖中的較小空洞.Zhang等［7］采用高斯濾波對深度圖進行預處理，Lee等［8］則選用了高斯雙邊非對稱濾波器.高凱等［9］提出了à-Trous小波濾波方法，能夠有效地保留深度圖上的邊緣.李應彬等［10］基于改進的雙邊濾波對深度圖進行修復.這類方法對于較大空洞的修補效果并不理想.3）利用圖像修復技術對空洞進行填補［11-12］，即將二維圖像的修復技術引入到立體圖像空洞修復中.Ma等［13］在自由視點視頻的修復過程中加入了深度信息的導引.Wu等［14］先將圖像分為前景和背景，再利用分割信息對空洞進行修復.Xu等［15］在修復過程中采用先對深度圖中空洞進行修復的策略.

本文提出一種新的空洞修復方法.首先提出一種深度邊緣單向膨脹的預處理方法，該方法能有效抑制前景邊緣深度誤差所引起的合成視圖中的像素滲透.其次，由于所合成的虛擬視角一般位于參考視角的水平方向上，如果視角右移，空洞會出現(xiàn)在前景右側；如果視角左移，空洞則會出現(xiàn)在前景左側，而且空洞處一般缺失的是背景像素.基于上述認識，本文在圖像修復中將此與場景的深度信息相結合，有效提升圖像修復結果.最后，在傳統(tǒng)的基于樣本的圖像修復方法中加入深度輔助和匹配塊預編輯的措施，得到較好的空洞修復效果.

1 整體流程

視點合成算法的整體流程如圖1所示，算法僅需輸入參考視圖和對應的深度圖，合成過程總共包含4個步驟：1）對深度圖進行預處理，以消除合成視圖的小空洞以及前景背景相互滲透的現(xiàn)象；2）對參考視圖和預處理后的深度圖進行像素映射變換，得到帶有空洞的合成視圖及其深度圖；3）對合成深度圖的空洞進行修復；4）用修復好的深度圖對合成視圖的空洞進行修復，得到最終結果視圖.

圖1 視點合成算法框圖Fig.1 Flow chart of view synthesis algorithm

2 深度圖預處理

在圖像前景和背景的交界處，深度通常會發(fā)生顯著變化，由于視角變化造成的遮擋，在合成的虛擬視圖中會存在空洞區(qū)域.這些交界處的視點合成結果對輸入的深度值錯誤異常敏感，極易出現(xiàn)前景像素和背景像素之間的互相滲透，從而造成明顯的瑕疵.

圖2給出了采用微軟“Ballet”序列［16］的實驗結果，實驗中以Cam5視角的第1幀為輸入，合成Cam4視角.其中圖2（a）為輸入的Cam5視圖，圖中的黑框區(qū)域為典型的前景和背景交界處，圖2（b）、（c）為該區(qū)域的放大圖和相應的深度圖.圖2（d）和（e）分別為未經本文方法預處理的映射結果和填充后的結果，圖中的黑色區(qū)域為由于遮擋造成的映射結果中的空洞區(qū)域.由于深度圖在前景和背景交界處的不準確，在投影結果中很容易造成交界處前景像素和背景像素之間的混淆，使得邊界不清晰.后續(xù)的空洞填充進一步將這種效應放大，從而形成明顯的瑕疵.

圖2 加入深度圖預處理前后的合成視圖結果Fig.2 Synthesis results before and after performing depth preprocessing

由于獲得完全準確的深度圖非常困難，為了有效消除這種相互滲透現(xiàn)象，提出一種深度邊緣的單向膨脹方法，流程如圖3所示.首先判斷深度圖中水平方向上相鄰2點在映射變換后是否仍然相鄰，若不相鄰，則在該處產生空洞或發(fā)生像素重疊.這時需要選擇這2點中深度值較大的前景像素繼續(xù)進行判斷.如果該點在映射變換后，被投射到新的背景上，則放棄該點的預處理，以避免前景邊緣出現(xiàn)2種背景的突?，F(xiàn)象；反之，將該點的深度值向其水平鄰域像素中膨脹，僅覆蓋深度值小于該點的像素，圖3中w為膨脹寬度.

圖3 深度圖預處理流程圖Fig.3 Flowchart of depth map preprocessing

圖4（a）為某視角原始深度圖中的一行，A～L為該行中的像素.由像素值所代表的深度值可知，該行中A～C、J～L為背景像素，D～I為前景像素.為了判別這些在原始深度圖中的像素在映射后是否相鄰，先對這些像素進行像素映射變換（見圖1中的映射變換），然后考察映射結果.如圖4（b）所示，在圖4（a）中相鄰的像素C和D、像素I和J在圖4（b）中不再相鄰，像素C和D之間發(fā)生了重疊，而像素I和J之間產生了空洞.預處理選擇其中深度值較大的前景像素，如上面的D和I.由于D被映射到新的背景A上，不會像I和J之間那樣產生空洞，只須處理像素I.在原始深度圖中將像素I的深度值賦給w鄰域內深度值小于I的像素.實驗中取w＝2，將像素I賦給像素J、K，即J＝I，K＝I，得到圖4（c）的預處理結果.

圖4 深度圖預處理Fig.4 Depth map preprocessing

通過上述深度邊緣單向膨脹的預處理，原深度圖中產生空洞的前景邊緣會有所擴展.這能去除合成的虛擬視圖的背景上的前景像素殘留，相當于將空洞的背景一側w單位寬度的像素移動拼接到前景邊緣一側，經預處理后的結果如圖2（f）、（g）所示.

3 像素映射變換

像素點的映射變換是視點合成技術中一個重要的步驟.映射方式可分為2種：3D映射［2］和1D映射［17］.3D映射是根據深度圖、參考視圖和相機參數(shù)，將參考視圖中的像素點映射到世界坐標系下，將世界坐標系的點映射到目標視圖上.這種方式可以合成任意視點下的虛擬視圖.1D映射也被稱為視點插值（view interpolation），其不同之處在于直接將參考視圖的像素點水平映射到目標視圖中同一行的對應位置，使用的是普通標準立體圖像及其視差圖，適用于合成視角位于基線上的虛擬視點視圖.下面以3D映射為例對本文方法進行描述，并在最后的實驗結果中增加1D映射方法的結果.

以“Ballet”序列Cam5視角第1幀為參考視圖，經過深度圖預處理后，采用3D映射方式合成Cam4視角的合成視圖及其深度圖如圖5所示，圖中黑色區(qū)域為待填充的空洞區(qū)域.為了消除合成視圖中的小型空洞和裂縫，需要對映射結果進行中值濾波處理.

圖5 3D映射變換的結果Fig.5 Results of 3D image warping

4 合成深度圖修復

為了保證修改后的合成視點視圖仍舊符合立體視覺性質，首先對合成深度圖進行修復.圖像修復技術包括基于像素的方法［18］和基于樣本的方法［19］.基于像素的方法通常沿等照度線方向將已知像素信息向空洞區(qū)域進行逐點擴散填充，容易造成模糊現(xiàn)象，無法處理紋理區(qū)域.基于樣本的方法通常采用塊填充的方式，通過搜索最佳匹配塊對空洞區(qū)域進行填充，可有效保持圖像的紋理性質.相比合成視圖，合成深度圖反映的是場景的深度變化，其紋理變化較平緩，對其修復適合采用基于像素的方法.

空洞像素的填充順序對圖像修復結果影響很大.傳統(tǒng)方法大多采用“剝洋蔥”的順序，即沿各個方向同時向空洞的中心進行生長填充，如：Telea［18］提出的快速匹配法（fast marching method，F(xiàn)MM），在視點合成結果中，空洞區(qū)域一般為被遮擋的背景，如果填充從前景像素開始，容易造成前景像素向空洞的錯誤滲透，造成視覺上的突兀.本文利用前景和背景的相對位置信息，提出一種新的填充順序，即只由空洞背景一側向前景一側生長填充.

在視點合成的應用中，虛擬視角的位置一般位于參考視點的水平方向上.在這樣的合成視圖中，前景、空洞、背景會在水平方向上呈“一”字型排列.定義由背景指向空洞的方向為v.若合成的目標視點相對于參考視點左移，空洞會出現(xiàn)在背景的右邊，則v水平向右；反之，則v水平向左.

如圖6所示，在傳統(tǒng)的“剝洋蔥”順序中，填充的起始點只限定在空洞區(qū)域的邊界像素，并沒有對前景和背景進行區(qū)分.本文方法進一步對其進行限定，規(guī)定填充須從背景開始，沿著方向v進行.對于每一個空洞點p，利用其ε鄰域內的已知像素的加權［18］得到其像素值.

圖6 新填充順序示意圖Fig.6 Sketch map of new propagation mode

如圖7所示，通過改進的填充順序，最終的修復效果更加可靠，能保持更好的前景邊緣.這對后續(xù)的合成視圖修復提供了很好的深度參考.圖7（a）為FMM的修復結果，圖7（b）為本文方法的修復結果.

圖7 2種方法的深度圖修復結果Fig.7 Depth map inpainting result of two methods

5 合成視圖修復

通過對深度圖的修復，得到沒有空洞的深度圖（圖7（b）），可利用其對如圖5（a）所示的有空洞的合成視圖像進行修復.對通常具有較豐富紋理的合成視圖修復，將采用基于樣本的方法.

如圖8所示，基于樣本的圖像修復［19］通常按照一定的填充順序，以空洞區(qū)域Ω的邊緣點p為中心的矩形塊Ψp為參考，在已知區(qū)域Φ中搜索與之最相似的以點q為中心的矩形塊Ψq，然后將Ψq填入Ψp的空洞中.圖中，np為空洞邊緣單位法向量.在上述過程中有3個關鍵問題要解決：1）以什么順序進行填充；2）以什么度量來搜索匹配塊Ψq；3）匹配塊如何填入空洞.

圖8 基于樣本的圖像修復Fig.8 Examplar-based image inpainting

5.1 填充順序

為了確定合適的填充順序，對每一個空洞像素點計算優(yōu)先值，然后根據優(yōu)先值的大小來確定填充順序.本文提出一種加入深度權重的優(yōu)先值計算方法.由于待填充的空洞大多位于前景和背景的交界處，修復應盡量從背景一側開始，即像素深度值越小，優(yōu)先值越高.此外，在深度變化較大的前景和背景交界處，為了保持前景邊緣的連續(xù)性，也應具有較高的優(yōu)先值.最后得到優(yōu)先值計算公式為

式中：C（p）為置信項，表示以點p為中心的矩形塊中已知像素所占的百分比，C（p）越大，則填充該點的置信度越高；D（p）為數(shù)據項，該點像素值梯度越大，等照度線方向與空洞邊緣法向越接近，則優(yōu)先值越高，該項保證了紋理垂直于空洞邊緣的點有更高的優(yōu)先值，從而有利于紋理的保持；Z（p）為深度項，該點深度值越小，則優(yōu)先值越高，深度值較小通常為背景，該項保證了空洞中背景相對于前景具有較高的優(yōu)先值；Q（p）為深度變化項，在深度圖變化大的地方，優(yōu)先值較高；β、γ、λ為預定義的權重，在實驗中分別取0.8、0.1、0.1.上述幾項的具體定義如下：

式中：Ip為點p的像素值，dp為該點深度值，dmax和dmin分別為整幅圖像最大、最小深度值，〈，〉為向量的內積；α和δ為歸一化常數(shù)，通常取α＝1／（255×圖像通道數(shù) ），δ＝1／（dmax－dmin）.運算符?⊥表示求梯度后再將結果向量順時針旋轉90°，與等照度線方向相同.

式中：d（，）為非相似性度量，傳統(tǒng)的圖像修補方法通常取差的平方和或差的絕對值和度量.

由于已經對合成深度圖進行了修復，有效利用深度圖作為指引將得到更好的修復結果，提出加入深度信息的新度量為

5.2 搜索匹配塊

假設優(yōu)先值最高的點為p，首先構成一個以點p為中心，13×13大小的矩形塊作為參考塊Ψp，在相鄰已知區(qū)域中搜索與Ψp最為相似的匹配塊Ψq：

式中：Ip、dp分別為點p的像素值和深度值.通過式（7），匹配塊搜索同時考慮了2個塊之間紋理的相似性以及深度，與空洞區(qū)域具有相近深度的區(qū)域將具有更大的相似性.這一措施可以有效提高最終修復結果的質量.

5.3 填充塊預編輯

由于搜索到的匹配塊與填充的空洞區(qū)域仍存在差別，將其直接填充到空洞區(qū)域可能會造成明顯的拼接痕跡，為此，需要對搜索到的匹配塊進行預編輯再將其填入.預編輯的目標是讓空洞處的像素梯度和匹配塊對應點的梯度盡量相同.傳統(tǒng)的泊松編輯［20］很容易出現(xiàn)錯誤的像素擴散.如圖9所示，Ψp已經搜索到最佳的匹配塊Ψq，這種簡單的情況下直接復制填充效果會很好，但是如果對Ψq進行泊松編輯，則會出現(xiàn)如圖9（b）所示深色向淺色擴散的現(xiàn)象.

圖9 采用泊松編輯的匹配塊填充結果Fig.9 Filling results of matching patch using poisson editing

為了避免這種擴散現(xiàn)象，提出一種新的編輯方式.將Ψp中空洞區(qū)域f向已知區(qū)域擴展1個像素寬度，得到區(qū)域g，如圖10所示.這時，優(yōu)化處理方程轉換為

其中，m為Ψq中對應于g的區(qū)域.將參考塊中擴展的邊緣像素作為區(qū)域g中的已知量，將匹配塊中像素值作為區(qū)域g中對應位置的初值、分行、分列，采用共軛梯度迭代法求解可得到優(yōu)化結果，即預編輯結果g，再將g中與空洞像素對應的點復制到空洞中.

圖10 匹配塊預編輯Fig.10 Pre-edit of matched patch

6 實驗結果

為了驗證算法的有效性，采用3D映射和1D映射2種方式分別進行視點合成實驗.3D映射實驗采用由微軟提供的“Ballet”序列，其中包含8個視角的參考視圖和深度圖，同時提供所有視角拍攝時的相機參數(shù).在3D映射中，在存在多參考視圖的前提下，通常采用多參考視圖的虛擬視點合成方法使目標視圖中由遮擋產生的空洞區(qū)域降為最少.由于本文旨在對空洞修復問題進行討論，為了更好驗證本文方法的性能，實驗中仍采用單參考視圖的合成方式.對只給出視差圖的1D映射情況，采用由Middlebury網站［21］提供的標準立體圖像和標準視差圖.

如圖11所示為基于3D映射方法的結果比較.以“Ballet”序列Cam5視角作為輸入，在圖11（a）、（b）分別給出了合成Cam4和Cam2的視角視圖，并在圖11（c）給出了上述結果中標記區(qū)域的細節(jié)放大.由圖中結果比較可見，本文方法的結果在前景邊緣的保持、消除背景中的前景像素滲透等方面，要明顯地優(yōu)于其他3種方法.

為了對算法性能進行定量評價，在圖12中給出了上述方法的指標——峰值信噪比（peak signal to noise ratio，PSNR）曲線，計算時將對應視角的真實視圖作為參考視圖，且只對映射結果存在空洞的區(qū)域進行比較.由圖12可知，本文方法對應的PSNR較高.

表1中給出了“Ballet”圖像序列最終結果的統(tǒng)計數(shù)據，其中η表示空洞占全圖面積的平均比例，t為平均每幀圖像的處理耗時.可以看出，短基線（Cam5→Cam4）由于視角變化小，使得空洞區(qū)域面積較小，算法耗時較短且修復質量較高；而基線的增長（Cam5→Cam2）在增加算法耗時的同時，還會使視點合成質量降低.相對而言，本文方法在時間復雜度和性能的綜合表現(xiàn)最佳，修復后圖像的PSNR最高且耗時只是略多于文獻［19］的方法.

圖11 “Ballet”圖像序列視點合成實驗結果比較Fig.11 Comparison of experimental results of view synthesis for“Ballet”image sequence

表1 “Ballet”圖像序列統(tǒng)計結果Tab.1 Statistical results of＂Ballet＂image sequence

在耗時方面，雖然本文方法在合成視圖修復之前加入了深度圖的修復，但由于深度圖修復采用的是基于像素的快速修復方法，其耗時遠小于合成視圖空洞修復.4種方法在時間消耗上的差別主要體現(xiàn)在合成視圖的修復過程中.本文方法、文獻［12］和文獻［15］、［22］的方法在合成視圖修復時都在文獻［19］的基礎上加入了深度信息，故都更為耗時；文獻［12］的方法在計算優(yōu)先值時采用三維張量的形式，并有較復雜的矩陣運算，耗時稍長；文獻［15］、［22］的方法在計算時有大量的指數(shù)運算，耗時最長；本文方法在引入深度信息時采用了較為簡單的向量運算及少量指數(shù)運算，計算量較小，所以最終耗時較文獻［19］和［15］、［22］中的方法要少.

圖12 “Ballet”圖像序列PSNR結果Fig.12 PSNR results of＂Ballet＂image sequence

圖13 Middlebury立體圖視點合成實驗Fig.13 View synthesis on Middlebury stereo images

給出了以1D映射方式得到的視點合成結果，選用了“ART”和“Reindeer”標準立體圖像的左右視圖及其視差圖作為輸入，用于合成位于左右視圖中間視角（即位于基線中點）的虛擬視點視圖.其中“ART”和“Reindeer”圖像分辨率分別為1 390× 1 110和1 342×1 110，中間視圖映射結果中空洞區(qū)域面積占全圖比例分別為2.15%和0.62%.以“ART”圖像為例，圖13（a）、（b）為輸入的左視圖和左視差圖，作為輸入圖像質量參考.通過1D映射得到中間視角視圖和視差圖在圖13（c）、（d）中給出，圖中的黑色區(qū)域表示空洞待填充區(qū)域.對視差圖13（d）中的空洞進行修復，結果見圖13（e）.結合修復后的視差圖（e），對中間視圖（c）中的空洞進行修補，最終結果及局部視圖見圖13（f）.作為對比，在圖13（g）中給出VSRS（view synthesis reference software）［23］的視點合成結果及局部視圖.表2中給出了2組實驗的統(tǒng)計結果.從圖13中給出的實驗結果和表2中給出的客觀指標可以看出，本文方法對空洞的修補更為合理，最終得到的合成視圖質量較高.本文方法的時間消耗長于VSRS，這是因為該軟件對空洞的修復采用的是基于像素的圖像修復方法，雖然速度較快，但無法還原圖像的紋理結構，容易造成過于平滑和黏連的現(xiàn)象，修復的空洞質量較差.

表2 Middlebury立體視圖統(tǒng)計結果Tab.2 Statistical results of Middlebury stereo images

7 結 語

本文算法在圖像邊緣連續(xù)性的保持、前景和背景像素滲透現(xiàn)象的消除等方面具有較好的效果.在視點合成中，充分利用立體圖像的深度信息，以及各視角之間的相對位置關系，對提高合成視圖質量能起到重要作用.例如：合成的虛擬視角一般位于參考視角的水平方向上，如果視角右移，空洞會出現(xiàn)在前景右側；如果視角左移，空洞則會出現(xiàn)在前景左側.空洞區(qū)域一般為被遮擋的背景，如果空洞填充從前景像素開始，容易造成前景像素向空洞的錯誤滲透，造成視覺上的突兀.基于由深度信息給出的前景和背景的相對位置，則可以給出更好的填充順序.此外，在傳統(tǒng)的基于樣本的圖像修復方法中加入深度信息輔助，也可以提高最終合成視圖的質量.未來的研究將著眼于對深度和視差圖的處理，以及通過相機參數(shù)的提取，獲得更為精確的場景結構上.

（References）：

［1］SHUM H Y，KANG S B.A review of image-based rendering techniques［C］∥Proceedings of SPIE 4067，Visual Communications and Image Processing 2000.Perth：SPIE，2000：2- 13.

［2］FEHN C.Depth-image-based rendering（DIBR），compression，and transmission for a new approach on 3D-TV［C］∥Proceedings of SPIE 5291，Stereoscopic Displays and Virtual Reality Systems XI.San Jose：SPIE，2004：93- 104.

［3］SHADE J，GORTLER S，HE L，et al.Layered depth images［C］∥Proceedings of the 25th Annual Conference on Computer Graphics and Interactive Techniques.Orlando：ACM，1998：231- 242.

［4］陳坤斌，劉海旭，李學明.構造全局背景的虛擬視點合成算法［J］.信號處理，2013，29（10）：1307- 1314.

CHEN Kun-bin，LIU Hai-xu，LI Xue-ming.Virtual view synthesis using generated global background［J］.Journal of Signal Processing，2013，29（10）：1307- 1314.

［5］YAO C，TILLO T，ZHAO Y，et al.Depth map driven hole filling algorithm exploiting temporal correlation information［J］.IEEE Transactions on Broadcasting，2014，60（2）：394- 404.

［6］王奎，安平，張兆楊，等.Kinect深度圖像快速修復算法［J］.上海大學學報：自然科學版，2012，18（5）：454- 458.

WANG Kui，AN Ping，ZHANG Zhao-yang，et al.Fast inpainting algorithm for kinect depth map［J］.Journal of Shanghai University：Natural Science Edition，2012，18（5）：454- 458.

［7］ZHANG L，TAM W J.Stereoscopic image generation based on depth images for 3DTV［J］.IEEE Transactions on Broadcasting，2005，51（2）：191- 199.

［8］LEE P J，EFFENDI.Non-geometric distortion smoothing approach for depth map preprocessing［J］.IEEE Transactions on Multimedia，2011，13（2）：246- 254.

［9］高凱，陳賀新，趙巖，等.面向虛擬視點繪制的深度圖濾波及上采樣方法［J］.中國圖象圖形學報，2013，18（9）：1085- 1092.

GAO Kai，CHEN He-xin，ZHAO Yan，et al.Depth map filtering and up-sampling method for virtual view rendering［J］.Journal of Image and Graphics，2013，18（9）：1085- 1092.

［10］李應彬，馮杰，張華熊，等.基于改進雙邊濾波的Kinect深度圖像空洞修復算法研究［J］.工業(yè)控制計算機，2013，26（11）：105- 106，109.

LI Ying-bing，F(xiàn)ENG Jie，ZHANG Hua-xiong，et al.New algorithm of depth hole filling based on intensive bilateral filter［J］.Industrial Control Computer，2013，26（11）：105- 106，109.

［11］DARIBO I，SAITO H.Depth-aided image inpainting for novel view synthesis［C］∥Proceedings of 2010 IEEE International Workshop on Multimedia Signal Processing（MMSP）.（S.l.）：IEEE，2010：167- 170.

［12］GAUTIER J，LE MEUR O，GUILLEMOT C.Depth based image completion for view synthesis［C］∥3DTV Conference：the True Vision-Capture，Transmission and Display of 3D Video（3DTV-CON）.Antalya：IEEE，2011：1- 4.

［13］MA L N，DO L，WITH D，et al.Depth-guided inpainting algorithm for free-viewpoint video［C］∥2012 19th IEEE International Conferenceon on Image Processing（ICIP）.Orlando：IEEE，2012：1721- 1724.

［14］WU H Y，F(xiàn)ENG J，ZHANG H X，et al.A virtual view synthesis algorithm based on image inpainting［C］∥Third International Conference on Networking and Distributed Computing.Hangzhou：IEEE，2012：153- 156.

［15］XU X Y，PO L M，Cheung C H，et al.Depth-aided exemplar-based hole filling for DIBR view synthesis［C］∥2013 IEEE International Symposium on Circuits and Systems（ISCAS）.Beijing：IEEE，2013：2840-2843.

［16］ZITNICK C L，SING B K，MATTHEW U，et al.High quality video view interpolation using a layered representation［J］.ACM Transactions on Graphics. 2004，23（3）：600- 608.

［17］SCHARSTEIN D.Stereo vision for view synthesis［C］∥IEEE Computer Society Conference on Computer Vision and Pattern Recognition（CVPR’96）.San Francisco：IEEE，1996：852- 858.

［18］TELEA A.An image inpainting technique based on the fast marching method［J］.Journal of Graphics Tools，2004，9（1）：23- 34.

［19］CRIMINISI A，PEREZ P，TOYAMA K，Region filling and object removal by exemplar-based image inpainting［J］.IEEE Transactions on Image Processing，2004，13（9）：1200- 1212.

［20］PEREZ P，GANGNET M，AND BLAKE A.Poisson image editing［J］.Proceedings of the SIGGRAPH，2003，22（3）：313- 318.

［21］SCHARSTEIN D，PAL C.Learning conditional random fields for stereo［C］∥IEEE Computer Society Conference on Computer Vision and Pattern Recognition（CVPR 2007）.Minneapolis：IEEE，2007：1- 8.

［22］XU X Y，PO L M，NG K H，et al.Depth map misalignment correction and dilation for DIBR view synthesis［J］.Signal Processing：Image Communication.2013，28（9）：1023- 1045.

［23］TIAN D，LAI P L，PATRICK L.View synthesis techniques for 3D video［C］∥SPIE Optical Engineering and Applications.San Diego：SPIE，2009：74430T-74430T-11.

Depth-based hole filling in view synthesis

DU Xin，ZOU Shuang
（Department of Information Science and Electronic Engineering，Zhejiang University，Hangzhou 310027，China）

An image inpainting method based on exemplar-based image restoration technology was proposed to improve the quality of hole filling in view synthesis by using depth information.This method fills the holes and provides a synthesized view through depth map preprocessing，image warping，depth inpainting and color image inpainting.The final synthesized view quality is improved by the depth edge’s unidirectional dilation，the strategy that firstly inpaintes synthesized depth map and then the synthesized image，and the pre-editing of matched patch.The experimental results show that this method is superior to the existing methods in terms of subjective visual perception and objective index，such as peak signal to noise ratio（PSNR）and time consuming.The proposed method also has outstanding effects on maintaining the foreground edges and eliminating the infiltration from foreground to background.

view synthesis；hole-filling；depth map inpainting

10.3785／j.issn.1008-973X.2015.09.002

TP 391.4

A

1008- 973X（2015）09- 1616- 09

2014- 08- 01. 浙江大學學報（工學版）網址：www.journals.zju.edu.cn／eng

國家自然科學基金資助項目（61271339）；浙江省自然科學基金資助項目（LY12F01019）.

杜歆（1975－），男，副教授，博士，從事計算機視覺、3D視頻處理研究.ORCID：0000-0002-6215-9733.E-mail：duxin＠zju.edu.cn