張　倩，李少敏，郭文鳳，陳佳佳，王　斌，王　沛，黃繼風(fēng)

(上海師范大學(xué)　信息與機(jī)電工程學(xué)院，上?！?00234)

基于幾何模型的高質(zhì)量虛擬視點(diǎn)繪制

張倩，李少敏，郭文鳳，陳佳佳，王斌，王沛，黃繼風(fēng)

(上海師范大學(xué)信息與機(jī)電工程學(xué)院，上海200234)

摘要:該研究主要完成用kinect獲得的“單路紋理+深度圖像”來(lái)生成新的虛擬視點(diǎn)圖像。針對(duì)深度圖像的虛擬視點(diǎn)繪制技術(shù)(Depth Image Based Rendering，DIBR)生成的虛擬圖像空洞問(wèn)題，利用高斯混合模型分離前背景，背景空洞采用背景值填充，前景空洞采用改進(jìn)的圖像修復(fù)技術(shù)方法來(lái)填充。實(shí)驗(yàn)證明生成的虛擬視點(diǎn)圖像具有較好的視覺(jué)效果。

關(guān)鍵詞:虛擬視點(diǎn)；圖像繪制；空洞填充；圖像修復(fù)

1圖像繪制技術(shù)

近幾年發(fā)展起來(lái)的基于圖像繪制技術(shù)(ImageBasedRendering，IBR)極大地引起了人們研究的興趣，并成為計(jì)算機(jī)圖形學(xué)和虛擬現(xiàn)實(shí)領(lǐng)域的一個(gè)新的研究熱點(diǎn)。傳統(tǒng)的基于模型的繪制方法存在很大的局限性，跟圖像的復(fù)雜度有關(guān)，而基于圖像的繪制技術(shù)是利用相關(guān)對(duì)象來(lái)繪制出新的視點(diǎn)圖像，繪制效果與場(chǎng)景的復(fù)雜度無(wú)關(guān)，只與圖像的分辨率有關(guān)。在基于圖像的繪制過(guò)程中一個(gè)很重要的問(wèn)題是如果修補(bǔ)虛擬圖像中的空洞問(wèn)題，主要原因是隨著前景物體的移動(dòng)被遮擋的區(qū)域逐漸顯露出來(lái)，而這些區(qū)域的像素值是未知的，從而形成了空洞。目前空洞修補(bǔ)技術(shù)主要有兩大類：一類是基于幾何模型的圖像修復(fù)技術(shù)，該技術(shù)適用于修補(bǔ)圖像中的小尺度缺損，另一類是基于紋理合成的圖像補(bǔ)全技術(shù)的，該技術(shù)對(duì)填充圖像中大的丟失有很好的效果。大多數(shù)的圖像修復(fù)技術(shù)僅僅被用來(lái)處理靜態(tài)的圖像[1-3]，很少有人將這種方法運(yùn)用到實(shí)時(shí)的場(chǎng)景中，因?yàn)檎趽鯁?wèn)題，破損的區(qū)域無(wú)法事先估計(jì)，沒(méi)有統(tǒng)一的模型來(lái)描述這些破損，這就增加了實(shí)時(shí)處理的難度。

國(guó)內(nèi)外有大量學(xué)者對(duì)DIBR進(jìn)行了深入的研究，駱凱等人提出了使用虛擬視點(diǎn)兩側(cè)的多幅圖像作參考，從不同圖像中獲取遮擋信息來(lái)填充虛擬視點(diǎn)中的空洞，但是這樣會(huì)在遮擋邊界處出現(xiàn)較多偽影[4]，較大地影響了虛擬視點(diǎn)的質(zhì)量，Mori等人提出了采用邊界膨脹算法來(lái)消除邊界上偽影，并使用周圍像素填充非遮擋空洞，達(dá)到了較好的修復(fù)效果，成為了DIBR的標(biāo)準(zhǔn)參考方法[5]。Zhang等人采用非對(duì)稱的高斯濾波[6]、Wang等采用分段內(nèi)插[7]來(lái)平滑整個(gè)深度圖。采用聯(lián)合雙邊濾波[8]雖然比一般濾波算法處理效果好得多，但是速率太慢不適合實(shí)時(shí)處理。Chen，Daribo等采用邊緣濾波來(lái)平滑深度突變區(qū)域[9-11]，雖然該方法可以減小空洞，甚至消除目標(biāo)視點(diǎn)內(nèi)部的空洞，但是會(huì)模糊圖像的邊緣，導(dǎo)致繪制的新視點(diǎn)圖像質(zhì)量不高。采用多幅圖像與逆映射的方法[12-17]來(lái)填充生成的新視點(diǎn)的空洞的效果還不錯(cuò)，但是基于kinect的深度圖像繪制只能采用單路紋理和深度信息來(lái)繪制虛擬視點(diǎn)，采用兩次三維變換和圖像融合[13]的方法得到的新視點(diǎn)圖像出現(xiàn)明顯的偽像，特別是在視點(diǎn)變化較大時(shí)偽影會(huì)嚴(yán)重影響視覺(jué)效果。

2深度圖像預(yù)處理

本文利用kinect傳感器來(lái)實(shí)時(shí)獲取場(chǎng)景中的深度圖像，由于用kinect初步獲取到的深度圖像中存在大量的空洞區(qū)域(這些空洞區(qū)域往往是由于kinect的探測(cè)盲區(qū)和場(chǎng)景中的低紋理區(qū)域而形成的)，本文采用紋理圖+距離函數(shù)+前背景圖的權(quán)值函數(shù)來(lái)處理帶有空洞的深度圖像，然后經(jīng)過(guò)平滑濾波來(lái)處理剩余的小空洞。

首先采用高斯混合模型[19]把深度圖像的前景和背景分離，判斷空洞點(diǎn)所在的區(qū)域，如果空洞點(diǎn)在背景區(qū)，直接用第一幀的背景深度值填充，如果空洞點(diǎn)屬于前景部分，則用紋理圖+距離函數(shù)+背景圖的權(quán)值函數(shù)來(lái)確定空洞處的深度值，公式如下

(1)

3虛擬視點(diǎn)繪制

3.1三維映射

三維映射是指把已知的像素點(diǎn)通過(guò)某種對(duì)應(yīng)關(guān)系，映射到其他位置的視點(diǎn)上，目前生成立體視頻兩個(gè)視點(diǎn)的方式有兩種；一種是以參考視點(diǎn)為中心視點(diǎn)產(chǎn)生左右兩個(gè)視點(diǎn)，一種是以參考視點(diǎn)為左視點(diǎn)(右視點(diǎn))來(lái)生成右視點(diǎn)(左視點(diǎn))，本論文采用第二種方式來(lái)生成新的視點(diǎn)圖像。左右兩個(gè)視點(diǎn)的對(duì)應(yīng)關(guān)系如下

(2)

式中：Sx是兩個(gè)視點(diǎn)之間的距離；f是攝像機(jī)的焦距；Z是像素點(diǎn)的深度值。

3.2虛擬視點(diǎn)中的空洞問(wèn)題

深度圖像繪制(DIBR)空洞產(chǎn)生的主要原因是前景物體的遮擋，隨著前景物體的移動(dòng)，一些背景區(qū)域就逐漸顯露出來(lái)，由于這些顯露出來(lái)的背景部分的信息值是未知的，所以就產(chǎn)生了空洞，空洞出現(xiàn)的主要位置是前景與背景的交界處，這部分空洞主要在背景區(qū)域，所以這些空洞本文選擇用背景值來(lái)填充。

4虛擬視點(diǎn)繪制方法

4.1三維映射

傳統(tǒng)的圖像修復(fù)技術(shù)主要是用來(lái)處理一些靜止的圖像，比如說(shuō)去掉圖像中的背景文字，修復(fù)帶有劃痕的圖像等等，本文將這種方法應(yīng)用到了實(shí)時(shí)的深度圖像處理中，在前景空洞的填充主要采用AlexandruTelea[18]提出的基于幾何模型的空洞填充，其公式可以表示如下

Iq(p)=I(q)+ΔI(q)(p-q)

(3)

式中：I(q)，ΔI(q)是已知點(diǎn)的像素值和梯度值；Iq(p)是空洞點(diǎn)的一階估計(jì)值。

假設(shè)Ω是待修復(fù)的區(qū)域，δΩ是其邊界，q是邊界上的待修復(fù)點(diǎn)，B(ε)是q周圍已知點(diǎn)的一個(gè)鄰域(如圖1所示)，本文把B( ε)設(shè)置為5×5，那么p點(diǎn)的像素值可以由下式得到

(4)

式中：ω(p,q)是權(quán)重分布函數(shù)，公式如下

ω(p,q)=dir(p,q)×dst(p,q)×lev(p,q)

(5)

(6)

(7)

(8)

式中：dir(p,q)表示方向函數(shù)，確保像素點(diǎn)的主要貢獻(xiàn)在法線方向；dst(p,q)表示幾何距離函數(shù)；lev(p,q)是權(quán)重函數(shù)，使的接近通過(guò)像素點(diǎn)p的輪廓的點(diǎn)賦予較大的權(quán)重；d0，T0的值通常設(shè)為1。因?yàn)樯疃葓D像的空洞區(qū)域主要在前景和背景的交界處，主要是由于前景物體的左右移動(dòng)導(dǎo)致之前被遮擋的背景顯露出來(lái)，從而形成了空洞，所以在圖像修復(fù)的處理中處于和空洞點(diǎn)在同一水平線的像素值就占有較大的權(quán)重值，因此

本文考慮引進(jìn)另一權(quán)重因子，水平權(quán)重因子hdt(p,q)，即當(dāng)待搜索像素點(diǎn)具有相同的距離函數(shù)值時(shí)，處于同一水平線上的點(diǎn)具有較大的權(quán)值。

ω(p,q)=dir(p,q)×dst(p,q)×lev(p,q)×hdt(p,q)

(9)

經(jīng)過(guò)多次迭代后空點(diǎn)就會(huì)原來(lái)越小，直到完全消失。

4.2新視點(diǎn)生成

首先是通過(guò)傳感器采集圖像，并對(duì)紋理圖和對(duì)應(yīng)的深度圖進(jìn)行預(yù)處理，圖2是經(jīng)過(guò)預(yù)處理后的彩色圖和對(duì)應(yīng)的深度圖。然后對(duì)彩色紋理圖和深度圖像經(jīng)過(guò)三維變換得到新視點(diǎn)圖像，如圖3所示。保存新視點(diǎn)圖像的第一幀，對(duì)新視點(diǎn)圖像的紋理圖和深度圖采用inpainting方法進(jìn)行修復(fù)，接下來(lái)采用高斯混合模型把新視點(diǎn)紋理圖進(jìn)行前背景分離，提取出前景輪廓，如圖4所示。背景空洞采用第一幀的背景填充，前景空洞采用改進(jìn)的inpainting算法填充。圖5a是參考文獻(xiàn)[18]中的算法的實(shí)驗(yàn)結(jié)果圖像，圖5b是本算法的實(shí)驗(yàn)結(jié)果圖像，從結(jié)果可以看出本文方法獲取的虛擬視點(diǎn)圖像沒(méi)有重影、魘像等問(wèn)題，可以很好滿足觀看需求，圖6是圖5中框圖的放大部分，從圈中的部分可以看出，文獻(xiàn)[18]算法的實(shí)驗(yàn)圖像存在明顯的的一個(gè)模糊帶狀區(qū)域，本算法處理的圖像邊緣效果較好，可見(jiàn)水平方向的權(quán)值hdt(p,q)在新視點(diǎn)圖像修復(fù)中起到很大作用。

圖2　圖像預(yù)處理后的紋理圖和深度圖

5實(shí)驗(yàn)結(jié)果

本研究所提出的算法用C++語(yǔ)言編程實(shí)驗(yàn)，在普通PC機(jī)(inteli5 雙核CPU4Gbyte內(nèi)存)，進(jìn)行了效果和試驗(yàn)測(cè)試，圖7給出了兩組場(chǎng)景實(shí)驗(yàn)的結(jié)果，其中，圖7a上、下兩幅圖是場(chǎng)景的紋理圖，圖7b的上、下兩幅圖其對(duì)應(yīng)的深度圖，圖7c上下兩幅是繪制后的新視點(diǎn)圖像，圖7d上、下兩幅圖則是用本文方法得到最終的效果圖，可以看出這兩個(gè)場(chǎng)景空洞出現(xiàn)的主要區(qū)域是人和背景的交疊處，空洞出現(xiàn)的主要原因是隨著前景物體的移動(dòng)原來(lái)被遮擋的背景區(qū)域逐漸顯露出來(lái)，由于這部分區(qū)域的深度值之前是未知的從而形成了空洞。實(shí)驗(yàn)結(jié)果證明本文算法可以在不模糊物體邊界的前提下快速地、優(yōu)質(zhì)地填充空洞。

圖3　新視點(diǎn)的紋理與深度圖

圖4　提取出的前景圖

圖5　算法對(duì)比圖

圖6　細(xì)節(jié)展示圖

6小結(jié)

本研究提出了基于幾何模型的高質(zhì)量虛擬視點(diǎn)繪制算法，該算法主要運(yùn)用高斯混合模型提取出前景圖像，準(zhǔn)確判斷空洞所在的區(qū)域，背景空洞采用背景第一幀填充，前景空洞采用改進(jìn)的inpainting算法填充，實(shí)驗(yàn)證明該算法有效地填充了深度圖中的空洞。在后續(xù)的工作中將進(jìn)一步改善算法提高多視點(diǎn)繪制的質(zhì)量。

圖7　兩組場(chǎng)景實(shí)驗(yàn)結(jié)果圖

參考文獻(xiàn)：

[1]任澍，唐向宏，康佳倫.利用紋理和邊緣特征的Criminisi改進(jìn)算法[J].中國(guó)圖象圖形學(xué)報(bào)，2012， 17(9)：1085-1091.

[2]ZHANGQ，BINC，WANGP，etal.Newstereomatchingmethodbasedonimprovedbpalgorithm[J].Internationaljournalonsmartsensingandintelligentsystems，2015，8(1)：464-479.

[3]甘玲，張偉，劉國(guó)慶. 基于結(jié)構(gòu)和顏色信息的圖像修復(fù)算法[J].計(jì)算機(jī)仿真，2011(2)：329-332.

[4]駱凱，李東曉，馮雅美，等. 基于DIBR和圖像修復(fù)的任意視點(diǎn)繪制[J].中國(guó)圖象圖形學(xué)報(bào)，2010，15(3)：443-449.

[5]Referencesoftwareofdepthestimationandviewsynthesis[S].2008.

[6]ZHANGL，TAMWJ.Stereoscopicimagegenerationbasedondepthimagesfor3DTV[J].IEEEtransactionsonbroadcasting，2005，51(2)：191-199.

[7]WANGW，HUOLS，ZENGW，etal.Depthimagesegmentationforimprovedvirtualviewimagequalityin3-DTV[C]//Proc.IntelligentSignalProcessingandCommunicationSystems.Xiamen，China：[s.n.]，2007：300-303.

[8]李知菲，陳源.基于聯(lián)合雙邊濾波器的Kinect深度圖像濾波算法[J].計(jì)算機(jī)應(yīng)用，2014，34(8)：2231-2242.

[9]LEEPJ.Effendiadaptiveedge-orienteddepthimagesmoothingapproachfordepthimagebasedrendering[C]//Proc.IEEEInternationalSymposiumonBroadbandMultimediaSystemsandBroadcasting. [S.l.]：IEEEPress，2010：1-5.

[10]CHENWY，CHANGYL，LINSF，etal.Efficientdepthimagebasedrenderingwithedgedependentdepthfilterandinterpolation[C]//Proc.IEEEInternationalConferenceonMultimediaandExpo(ICME2005).Amsterdam，Netherlands：IEEEPress，2005：1314-1317.

[11]DARIBOI，TILLIERC，PESQUETPB.Distancedependentdepthfilteringin3dwarpingfor3DTV[C]//Proc.MultimediaSignalProcessingChania.Crete，Greece：IEEEPress，2007：312-315.

[12]鞠芹，安平，張倩，等.高質(zhì)量的虛擬視點(diǎn)圖像的繪制方法[J].電視技術(shù)，2009，33(9)：9-11.

[13]趙巖，汪敬媛，陳賀新. 基于深度圖像和半像素的虛擬視點(diǎn)繪制[J].吉林大學(xué)學(xué)報(bào)(工學(xué)版)，2013，43(S1)：256-259.

[14]陳愛(ài)華，高誠(chéng)輝，何炳蔚.立體視覺(jué)中的圖像立體匹配方法[J].中國(guó)工程機(jī)械學(xué)報(bào)，2014，12(3)：194-198.

[15]WANGW，LIUXM，WANGSZ.Localaglorithmsondensetwo-framestereomatching[J].Computeraideddrafting，designandmanufacturing，2012，22(9)：1-7.

[16]向志炎，曹鐵勇，潘竟峰.基于自適應(yīng)閾值的前景提取算法[J]，通信技術(shù)，2012，45(3)：82-85.

[17]王亮生，程蔭杭.一種改進(jìn)的基于混合高斯分布模型的自適應(yīng)背景消除算法[J].北京交通大學(xué)學(xué)報(bào)，2003，27(6)：22-25.

[18]ALEXANDRUT.Animageinpaintingtechniquebasedonthefastmarchingmethod[J].Journalofgraphictools，2004，9(1)：25-36.

張倩(1983— )，女，講師，主研視頻處理與通信；

李少敏(1988— )，女，碩士生，主要研究方向立體視頻處理；

郭文鳳(1990— )，女，碩士生，主研視頻處理；

陳佳佳(1986— )，女，講師，主研智能信息處理；

王斌(1986— )，女，講師，主研圖像處理；

王沛(1972— )，女，副教授，主研圖像信息處理；

黃繼風(fēng)(1961— )，教授，主研視頻與圖像處理。

責(zé)任編輯：時(shí)雯

Highqualityvirtualviewsynthesismethodbasedongeometricalmodel

ZHANGQian，LIShaomin，GUOWenfeng，CHENJiajia，WANGBin，WANGPei，HUANGJifeng

(Shanghai Normal University，College of Information Mechanical and Electrical Engineering，Shanghai 200234，China)

Abstract:This research mainly adopts single “texture + depth” image to generate a new virtual image，as to the hole problem caused by depth image based rendering， this paper makes the foreground and background image separation by GMM，fill the background holes using the background image，applying improved inpainting algorithm for the holes in foreground based on geometrical model. Experiments results show that the generated virtual view images have better view effect.

Key words:virtual view point； image based rendering； holes filling； image inpainting

中圖分類號(hào):TP391

文獻(xiàn)標(biāo)志碼:A

DOI：10.16280/j.videoe.2016.03.005

基金項(xiàng)目：上海市自然科學(xué)基金項(xiàng)目(15ZR1431500；15ZR1430400)；上海市教委科研創(chuàng)新項(xiàng)目(14ZZ125)；上海高校青年教師培養(yǎng)資助計(jì)劃

作者簡(jiǎn)介：

收稿日期：2015-09-14

文獻(xiàn)引用格式：張倩，李少敏，郭文鳳，等.基于幾何模型的高質(zhì)量虛擬視點(diǎn)繪制[J].電視技術(shù),2016，40(3)：22-25.

ZHANGQ，LISM，GUOWF，etal.Highqualityvirtualviewsynthesismethodbasedongeometricalmodel[J].Videoengineering,2016,40(3)：22-25.