馮　杰，馬漢杰

(浙江理工大學(xué)信息學(xué)院，杭州 310018)

?

基于視頻壓縮域的深度圖推理算法研究

馮杰，馬漢杰

(浙江理工大學(xué)信息學(xué)院，杭州 310018)

對(duì)2D到3D視頻轉(zhuǎn)換過(guò)程中的深度圖推理算法進(jìn)行了研究。該研究以視頻壓縮域中的宏塊為單位進(jìn)行深度圖推理，根據(jù)不同的宏塊類型選擇不同的推理策略。首先，采用基于鄰塊的運(yùn)動(dòng)估計(jì)算法對(duì)幀內(nèi)宏塊的運(yùn)動(dòng)矢量進(jìn)行計(jì)算；然后，針對(duì)幀間宏塊，對(duì)直接提取出的運(yùn)動(dòng)矢量進(jìn)行濾波處理以提升其魯棒性；最后，采用運(yùn)動(dòng)補(bǔ)償和上采樣雙邊濾波技術(shù)獲得深度圖。實(shí)驗(yàn)結(jié)果表明該方法可以獲得平滑而可靠的深度圖像，并且具有更好的深度圖像質(zhì)量。

2D到3D視頻轉(zhuǎn)換；深度圖；運(yùn)動(dòng)矢量；壓縮域

0　引　言

人類在自然界中看到的是真實(shí)的3D世界，人類所能感知到的周圍環(huán)境是也是3D的，因此，能夠在屏幕上再現(xiàn)這種真實(shí)的3D場(chǎng)景一直是人類夢(mèng)寐以求的理想。就目前的3D發(fā)展?fàn)顩r而言，3D內(nèi)容的極度匱乏是造成3D視頻產(chǎn)業(yè)成長(zhǎng)一個(gè)主要障礙。為了解決這一問(wèn)題，首先需要了解人類對(duì)3D視頻的感應(yīng)機(jī)理。人眼的3D視覺(jué)是通過(guò)雙眼間的視網(wǎng)膜視差來(lái)感知對(duì)象的距離即深度信息的，而目前的3D設(shè)備正是利用了人眼雙目視覺(jué)系統(tǒng)的這一感知特點(diǎn)，通過(guò)分別給左右眼以對(duì)應(yīng)的平面圖像，根據(jù)幾何成像關(guān)系，這兩幅圖像中不同深度位置的對(duì)象在圖像間具有不同大小的視差，然后在大腦中完成視覺(jué)場(chǎng)景中對(duì)象間相對(duì)深度的感知重建，這樣人眼就可以獲得具有深度感知的立體視覺(jué)效果。為了生成3D視頻，目前比較普遍的做法是采用基于深度圖繪制(depth image-based rendering，DIBR)的方法來(lái)生成具有視差的左右視點(diǎn)圖像[1]。因此如何利用原有的2D視頻得到對(duì)應(yīng)的深度圖是2D到3D的轉(zhuǎn)換領(lǐng)域一個(gè)非常重要的研究方向。

目前，深度圖生成算法主要分成兩大類：全自動(dòng)算法和半自動(dòng)算法。全自動(dòng)算法在2D到3D轉(zhuǎn)換過(guò)程中不需要人工參與，直接利用2D視頻所提供的信息和深度線索估計(jì)視頻幀的深度。該類方法在很多場(chǎng)景下可以獲得比較好的深度圖，但對(duì)于一些特殊的景物(如懸掛的物體等)還是不能正確獲得它的深度。因此，為了獲得轉(zhuǎn)換速度和轉(zhuǎn)換效果的平衡，目前很多研究更傾向于略有人工參與的半自動(dòng)的轉(zhuǎn)換方式。半自動(dòng)方法首先將整段視頻分成關(guān)鍵幀和非關(guān)鍵幀，并對(duì)關(guān)鍵幀采用人工參與方式賦予比較精確的深度值，對(duì)于非關(guān)鍵幀則采用深度推理方式得到相應(yīng)的深度圖。其中，直接對(duì)已有深度圖進(jìn)行推理或?yàn)V波的方法主要包括基于塊的運(yùn)動(dòng)補(bǔ)償法[2]、雙向KLT跟蹤算法[3]、基于塊的運(yùn)動(dòng)估計(jì)結(jié)合三邊濾波器[4]、基于掃描線的推理濾波[5]、Graph Cut與Random Walks相結(jié)合的推理[6]等。半自動(dòng)方法中由于有了人工的參與可以有效的避免前期很多自動(dòng)算法造成的物體前后位置誤判，因而可以獲得更加準(zhǔn)確的深度圖。但是目前大部分算法都是基于像素域進(jìn)行的，這在實(shí)際應(yīng)用中會(huì)消耗大量的計(jì)算資源。并且目前很多視頻都是用壓縮方式進(jìn)行存儲(chǔ)的，如果在壓縮域就可以對(duì)視頻內(nèi)容進(jìn)行分析和處理可以大大提升處理速度。并且壓縮視頻數(shù)據(jù)都是以塊為基本單位，所需要處理的數(shù)據(jù)量?jī)H是像素域的1/64(基于8×8塊)或1/16(基于4×4塊)。因此，需要在保證深度圖質(zhì)量的前提下盡可能利用壓縮域中隱含的信息對(duì)2D視頻進(jìn)行分析處理，就可以達(dá)到深度圖生成效率與質(zhì)量的平衡。

1　算法總體設(shè)計(jì)

本文算法主要針對(duì)壓縮域的半自動(dòng)2D到3D視頻轉(zhuǎn)換。在視頻壓縮編碼過(guò)程中，I幀一般作為關(guān)鍵幀，P幀作為非關(guān)鍵幀。相應(yīng)的，關(guān)鍵幀(I幀)的深度圖將采用人工的方式獲得。因此，本文主要關(guān)注P幀圖像的深度圖推理算法設(shè)計(jì)。如圖1所示，在對(duì)壓縮視頻進(jìn)行解碼后，本文的深度圖推理算法主要分成3個(gè)主要部分：首先，對(duì)于幀內(nèi)編碼宏塊，需要進(jìn)行基于鄰域的運(yùn)動(dòng)估計(jì)來(lái)獲得它的運(yùn)動(dòng)矢量；其次，對(duì)于幀間編碼宏塊，雖然可以直接從壓縮域獲取運(yùn)動(dòng)矢量信息，但由于這些信息存在很多噪聲，并不十分可靠，因此需要對(duì)其進(jìn)行自適應(yīng)濾波處理；最后，利用已獲得的運(yùn)動(dòng)矢量信息、解碼2D視頻信息、關(guān)鍵幀或前一非關(guān)鍵幀的深度圖信息對(duì)當(dāng)前幀的深度圖進(jìn)行賦值和推理。

圖1　深度圖推理算法總體流程

2　視頻壓縮域信息提取與分析

在普通的2D到3D半自動(dòng)視頻轉(zhuǎn)換算法中，非關(guān)鍵幀的光流信息(即運(yùn)動(dòng)信息)經(jīng)常被用來(lái)做深度推理。而在視頻壓縮域中，運(yùn)動(dòng)矢量是可以通過(guò)解碼P幀或B幀直接獲得的信息，不再需要利用像素域中的光流估計(jì)來(lái)獲得運(yùn)動(dòng)信息，這可以極大的降低運(yùn)算復(fù)雜度。視頻編碼器利用高效的運(yùn)動(dòng)估計(jì)算法獲得的運(yùn)動(dòng)矢量剛好可以提供有效的光流信息。但是采用直接從視頻碼流中獲取的運(yùn)動(dòng)矢量作為光流信息仍然存在3點(diǎn)不足。

2.1無(wú)法提取幀內(nèi)編碼類型宏塊的運(yùn)動(dòng)矢量

在視頻壓縮域中，P幀中存在3種不同的編碼宏塊類型：幀內(nèi)編碼(INTRA)、幀間編碼(INTER)和SKIP編碼。幀間編碼和SKIP編碼類型的宏塊可以利用運(yùn)動(dòng)估計(jì)算法在參考幀中找到一個(gè)匹配塊，進(jìn)而得到該類型宏塊的運(yùn)動(dòng)矢量。但是幀內(nèi)編碼類型宏塊主要利用周圍宏塊的空間插值算法來(lái)提高壓縮效率，并不能從碼流中獲取關(guān)于該類型宏塊的運(yùn)動(dòng)信息，因此在碼流中得到的宏塊運(yùn)動(dòng)矢量都為0。在視頻編碼過(guò)程中，宏塊編碼模式的選擇一般是按照率失真優(yōu)化(rate distortion optimization ，RDO)技術(shù)來(lái)實(shí)現(xiàn)的，這樣可以獲得最佳的編碼效率。圖2列舉出了一幀圖像的宏塊編碼類型信息和它的運(yùn)動(dòng)矢量信息。圖2中的黑色、灰色和白色圓點(diǎn)分別代表采用幀內(nèi)編碼、幀間編碼和SKIP編碼模式的宏塊，線條代表每個(gè)宏塊的運(yùn)動(dòng)矢量。在圖2中可以看到有很多本應(yīng)處于運(yùn)動(dòng)狀態(tài)的宏塊采用了幀內(nèi)編碼模式，無(wú)法從壓縮域的碼流中獲得該類型宏塊的運(yùn)動(dòng)信息。

圖2　壓縮幀的宏塊編碼類型信息和運(yùn)動(dòng)矢量信息

2.2幀間宏塊運(yùn)動(dòng)矢量存在噪聲

在絕大多數(shù)情況下， 視頻編碼所得到的運(yùn)動(dòng)矢量大部分是比較符合實(shí)際的運(yùn)動(dòng)情況的，尤其在運(yùn)動(dòng)對(duì)象的邊界區(qū)域，在H.264編碼標(biāo)準(zhǔn)中更是采用較小的幀間分塊方式來(lái)獲得更精細(xì)的塊分割效果。但是在比較平坦的區(qū)域，會(huì)出現(xiàn)運(yùn)動(dòng)矢量噪聲，這是因?yàn)樵谝曨l編碼過(guò)程中，會(huì)采用預(yù)測(cè)運(yùn)動(dòng)矢量(pridict motion vector，PMV)作為計(jì)算宏塊運(yùn)動(dòng)矢量所消耗比特?cái)?shù)的起點(diǎn)。在平坦區(qū)域中，一般情況下選擇預(yù)測(cè)運(yùn)動(dòng)矢量附近的運(yùn)動(dòng)矢量值會(huì)獲得與采用真正運(yùn)動(dòng)矢量時(shí)相同的預(yù)測(cè)殘差，這樣會(huì)降低用來(lái)編碼運(yùn)動(dòng)矢量的比特?cái)?shù)，而真正的運(yùn)動(dòng)矢量(也許是零)并不被編碼算法所采納。因此，為了得到真實(shí)的對(duì)象運(yùn)動(dòng)信息，需要對(duì)幀間編碼宏塊的運(yùn)動(dòng)矢量進(jìn)行濾波處理。而SKIP類型宏塊的運(yùn)動(dòng)信息一般是很符合物體實(shí)際運(yùn)動(dòng)情況的，對(duì)于該類宏塊不需進(jìn)行濾波處理。

2.3運(yùn)動(dòng)矢量精度不高

為了適應(yīng)各種不同紋理的視頻場(chǎng)景，視頻編碼過(guò)程可以采用可變塊大小的運(yùn)動(dòng)編碼方式，分塊大小最大為16×16，最小為4×4，中間可以為16×8/8×16/8×8/8×4/4×8等等，因此，每個(gè)運(yùn)動(dòng)矢量可能對(duì)應(yīng)不同的宏塊大小。如果要獲得統(tǒng)一大小的運(yùn)動(dòng)矢量，那么每一個(gè)大于4×4塊的分塊方式可以將其運(yùn)動(dòng)矢量賦值給其覆蓋的4×4塊中。但是最小的4×4的運(yùn)動(dòng)矢量精度仍然要比光流場(chǎng)的精度有所降低。

3　壓縮域運(yùn)動(dòng)信息提取與深度圖推理

基于上一節(jié)的分析，針對(duì)幀內(nèi)宏塊類型沒(méi)有運(yùn)動(dòng)信息的問(wèn)題，本文采用基于鄰塊信息的運(yùn)動(dòng)估計(jì)方法來(lái)獲得幀內(nèi)宏塊的運(yùn)動(dòng)矢量，這樣P幀中所有宏塊都將具有運(yùn)動(dòng)信息；針對(duì)幀間宏塊運(yùn)動(dòng)信息不準(zhǔn)確的問(wèn)題，本文采用自適應(yīng)濾波算法對(duì)幀間宏塊的運(yùn)動(dòng)矢量進(jìn)行處理以提高其準(zhǔn)確性；針對(duì)運(yùn)動(dòng)矢量精度不夠的問(wèn)題，本文用基于塊的運(yùn)動(dòng)補(bǔ)償算法推理出一個(gè)低分辨率的深度圖，然后利用上采樣雙邊濾波器來(lái)獲得更加細(xì)致的深度圖。

3.1幀內(nèi)宏塊運(yùn)動(dòng)估計(jì)

在視頻編碼過(guò)程中，一般采用基于率失真的策略來(lái)進(jìn)行模式選擇，進(jìn)而確定某一個(gè)宏塊采用何種類型來(lái)進(jìn)行編碼。當(dāng)幀內(nèi)模式具有比幀間模式更小的率失真時(shí)，編碼器將對(duì)該宏塊采用幀內(nèi)模式來(lái)進(jìn)行編碼，此時(shí)該宏塊的運(yùn)動(dòng)矢量信息部分將不會(huì)保存，而設(shè)置為0。因此，為了獲得該類型宏塊的運(yùn)動(dòng)信息，需要采用運(yùn)動(dòng)估計(jì)來(lái)預(yù)測(cè)這些幀內(nèi)宏塊的運(yùn)動(dòng)矢量。和編碼過(guò)程一樣，運(yùn)動(dòng)矢量的獲得也是通過(guò)最小化解碼幀中的宏塊和前一幀中各塊差的絕對(duì)值而得到的，如式(1)所示：

y,vx,vy)

(1)

absdiff≡

(2)

其中：dec(t)為t時(shí)刻的解碼幀亮度分量，vx和vy是在一定水平和垂直預(yù)設(shè)搜索范圍的偏置。如果該幀中存在過(guò)多的幀內(nèi)編碼宏塊，那么運(yùn)算時(shí)間將會(huì)由于運(yùn)動(dòng)搜索的復(fù)雜性而大大增加。為了減少幀內(nèi)宏塊的運(yùn)動(dòng)估計(jì)計(jì)算量，采用式(3)來(lái)決定是否對(duì)幀內(nèi)宏塊采用運(yùn)動(dòng)估計(jì)策略。

(3)

這樣，對(duì)幀內(nèi)宏塊進(jìn)行運(yùn)動(dòng)估計(jì)的比例可以大大降低，可以有效節(jié)省計(jì)算資源。

3.2自適應(yīng)運(yùn)動(dòng)矢量濾波

(4)

其中：DC(i,j)，AC01(i,j)，AC10(i,j)，AC11(i,j)分別是第(i,j)個(gè)殘差塊的左上角DCT系數(shù)。DC系數(shù)是DCT變換中最重要的系數(shù)，它可以代表整個(gè)殘差塊的總體平均能量值。其他3個(gè)系數(shù)AC01、AC10、AC11分別代表殘差塊水平分量、垂直分量和對(duì)角線分量的能量值。這4個(gè)系數(shù)可以代表4×4殘差塊的能量大小。當(dāng)該塊處于平滑區(qū)域時(shí)，該能量通常為0。

接下來(lái)，采用兩步濾波處理來(lái)對(duì)每個(gè)塊的運(yùn)動(dòng)矢量進(jìn)行濾波。第一步將每一個(gè)原始的運(yùn)動(dòng)矢量按照從上到下從左到右的順序進(jìn)行濾波處理，當(dāng)該塊滿足以下3個(gè)條件時(shí)，該塊的運(yùn)動(dòng)矢量將被置為0：

條件1：該塊的能量大小En4×4(i,j)為0；

條件2：該塊左邊塊的運(yùn)動(dòng)矢量為0；

條件3：該塊的運(yùn)動(dòng)矢量值小于一定閾值。該閾值的設(shè)定有兩種方式，一種采用該幀中所有塊運(yùn)動(dòng)矢量的平均值，另一種采用用戶自定義的值。

第二步仍然采用與第一步相似的方法進(jìn)行濾波處理，區(qū)別在于處理的順序變?yōu)閺南碌缴蠌挠业阶蟆Ｏ鄳?yīng)的條件2換為該塊右邊塊的運(yùn)動(dòng)矢量為0。通過(guò)這兩步濾波可以將大部分平滑區(qū)域的運(yùn)動(dòng)矢量置為0，大大提高了后續(xù)處理的準(zhǔn)確度。

在目前最流行的視頻編碼器H.264編碼過(guò)程中，具有8×8/8×4/4×8/4×4這種小分塊模式的塊運(yùn)動(dòng)矢量通常比16×16/16×8/8×16這種大宏塊的運(yùn)動(dòng)矢量更加可靠，所以將針對(duì)這兩種不同分塊類型的運(yùn)動(dòng)矢量采用不同系數(shù)的二維3×3均值濾波器來(lái)得到更加可靠的運(yùn)動(dòng)信息。該濾波器的詳細(xì)細(xì)節(jié)可以參考文獻(xiàn)[7]。

圖3顯示了一幀未經(jīng)過(guò)和經(jīng)過(guò)幀內(nèi)運(yùn)動(dòng)矢量估計(jì)與運(yùn)動(dòng)矢量濾波的運(yùn)動(dòng)矢量場(chǎng)。圖3(a)是該幀原始圖像，圖3(b)是未經(jīng)過(guò)處理的原始運(yùn)動(dòng)矢量場(chǎng)，圖3(c)是經(jīng)過(guò)處理的運(yùn)動(dòng)矢量場(chǎng)。從圖3中可以看出，經(jīng)過(guò)幀內(nèi)運(yùn)動(dòng)估計(jì)和運(yùn)動(dòng)矢量濾波處理后，消除了大量運(yùn)動(dòng)矢量噪聲并且保留了更好的運(yùn)動(dòng)信息，為下一步深度圖推理打下的基礎(chǔ)。

圖3　運(yùn)動(dòng)矢量場(chǎng)

3.3深度圖推理和上采樣

非關(guān)鍵幀的深度圖可以利用3.1節(jié)和3.2節(jié)得到的完整并可靠的運(yùn)動(dòng)矢量來(lái)獲得。在3.2節(jié)中，不同分塊的運(yùn)動(dòng)矢量都被直接映射到其覆蓋的4×4塊中，然后就可以利用每個(gè)4×4塊的運(yùn)動(dòng)矢量推理得到一個(gè)縮小為原始圖像大小1/16的深度圖，水平和垂直方向長(zhǎng)度分別為原始幀大小的1/4。該低分辨率深度圖像的每個(gè)點(diǎn)的深度值都采用運(yùn)動(dòng)補(bǔ)償?shù)姆椒◤那耙粠纳疃葓D中獲得，如式(5)所示：

(5)

然后，為了獲得與原始圖像大小一樣的深度圖像，采用一個(gè)自適應(yīng)上采樣雙邊濾波器對(duì)式(5)得到的深度圖進(jìn)行濾波處理，處理算法如式(6)所示：

(6)其中：S是濾波器模板，可以選擇不同的模板類型[8]。本文選擇半徑為5的星形模板作為濾波器。w(p,q)是權(quán)重系數(shù)，可以由式(7)計(jì)算得到：

(7)

其中：函數(shù)r是一個(gè)均值為0，具有不同方差σ2的高斯函數(shù)。在濾波過(guò)程中，針對(duì)不同的宏塊編碼類型采用不同的濾波強(qiáng)度。如果宏塊是幀間編碼類型，高斯函數(shù)的方差值設(shè)為0.1；如果宏塊是幀內(nèi)編碼類型，那么高斯函數(shù)的方差值設(shè)為0.2。更高的方差值有助于增加該像素深度值對(duì)周圍像素深度值的影響。如果宏塊類型為SKIP模式，不對(duì)其進(jìn)行濾波處理。Ih是高分辨率圖像的亮度值，Il是低分辨率圖像的亮度值。

每一個(gè)P幀(非關(guān)鍵幀)的深度圖都利用前一幀的深度圖和本幀的運(yùn)動(dòng)信息和宏塊信息進(jìn)行推理，最終將得到整個(gè)視頻序列的深度圖。

4　實(shí)　驗(yàn)

本文算法采用微軟研究院(microsoftresearch，MSR)提供的兩個(gè)公開(kāi)序列Ballet和Breakdancers進(jìn)行測(cè)試。這兩個(gè)序列的分辨率為1024×768，是專門為測(cè)試3D視頻序列深度圖而設(shè)計(jì)，均包含彩色圖像序列和其對(duì)應(yīng)的深度圖序列。每個(gè)序列包含100幀8個(gè)不同視點(diǎn)的圖像。在本實(shí)驗(yàn)中，采用第一個(gè)視點(diǎn)的彩色圖像和其對(duì)應(yīng)的深度圖像進(jìn)行測(cè)試。首先，采用目前最流行的視頻編碼標(biāo)準(zhǔn)H.264的參考編碼器JM16.2對(duì)兩個(gè)序列分別進(jìn)行編碼，序列的每20幀圖像作為一個(gè)幀組(groupofpictures，GOP)，每個(gè)GOP的第一幀作為關(guān)鍵幀并采用I幀方式編碼，其他幀作為非關(guān)鍵幀并采用P幀方式編碼。其他編碼參數(shù)如下：量化參數(shù)(quantizationparameter，QP)設(shè)為32，運(yùn)動(dòng)矢量搜索范圍[-32, 32]，幀率為25幀每秒。本文選擇文獻(xiàn)[4]中的基于塊的運(yùn)動(dòng)信息深度推理算法作為對(duì)比算法。文獻(xiàn)[4]是利用運(yùn)動(dòng)信息進(jìn)行深度圖推理的經(jīng)典算法，可以利用壓縮域中的信息。在對(duì)壓縮域碼流進(jìn)行解碼過(guò)程中，提取出的運(yùn)動(dòng)矢量分別用于本文的深度圖推理算法，同時(shí)作為文獻(xiàn)[4]中所需要的運(yùn)動(dòng)信息。

4.1深度圖質(zhì)量評(píng)價(jià)

在本實(shí)驗(yàn)中，選擇峰值信噪比(peaksignaltonoiseratio，PSNR)來(lái)作為深度圖質(zhì)量的客觀評(píng)價(jià)標(biāo)準(zhǔn)。PSNR通過(guò)均方誤差(meansquarederror， MSE)計(jì)算而得到的。而MSE是通過(guò)計(jì)算非關(guān)鍵幀的參考基準(zhǔn)深度圖和推理得到的深度圖之間像素的均方差而得到，計(jì)算方法如式(8)所示：

(8)

其中：I(x,y)為參考基準(zhǔn)深度圖中I(x,y)坐標(biāo)上的深度值，I′(x,y)是推理深度圖中(x,y)坐標(biāo)上的深度值，M和N分別是圖像的寬度值和高度值。

進(jìn)而可以得到每幀圖像的PSNR值如式(9)所示，PSNR值越大，深度圖的客觀質(zhì)量越好。

(9)

由于MSR提供的序列Ballet和Breakdancers本身具有深度圖，關(guān)鍵幀深度圖采用Ballet和Breakdancers提供的深度圖。非關(guān)鍵幀Ballet和Breakdancers的深度圖作為參考評(píng)價(jià)基準(zhǔn)，與本文算法與文獻(xiàn)[4]中算法所得到的推理深度圖進(jìn)行對(duì)比。圖4畫出了本文算法相對(duì)文獻(xiàn)[4]算法在兩個(gè)序列20到100幀推理深度圖上PSNR值提升情況?？梢钥吹?，PSNR最高可以提升達(dá)3.7dB，并且平均來(lái)說(shuō)對(duì)Ballet序列有1.02dB的PSNR提升，對(duì)Breakdancers序列有1.598dB的PSNR提升。

圖4　本文算法相對(duì)文獻(xiàn)[4]算法得到深度圖在PSNR上的增益

4.2執(zhí)行時(shí)間評(píng)價(jià)

本文實(shí)驗(yàn)所使用的計(jì)算機(jī)主要配置為CPU：Intel?CoreTM i5 CPU@2.4GHz，內(nèi)存：4GB。在此配置和未經(jīng)過(guò)優(yōu)化的程序執(zhí)行情況下，本文所使用的算法平均每幀深度圖推理所耗時(shí)間為103.6 s，文獻(xiàn)[4]平均每幀推理所耗時(shí)間為98s，而大多數(shù)基于像素域的深度圖推理算法時(shí)間都在1000 s/幀以上。圖5列出了本文算法相對(duì)文獻(xiàn)[4]算法在時(shí)間上的增長(zhǎng)百分比，對(duì)于Ballet序列和Breakdancers序列來(lái)講，分別增加了2.64%和8.86%，與質(zhì)量上的提升相比，時(shí)間上的增加并不明顯。如第3節(jié)所描述，本文算法與文獻(xiàn)[4]中所增加的時(shí)間大部分用于執(zhí)行幀內(nèi)宏塊的運(yùn)動(dòng)估計(jì)和運(yùn)動(dòng)矢量濾波方面。一般來(lái)講，運(yùn)動(dòng)估計(jì)過(guò)程是更加耗費(fèi)時(shí)間的部分，如圖5所示，由于Breakdancers序列平均每幀有更多數(shù)目的幀內(nèi)宏塊，本文算法的時(shí)間增長(zhǎng)率也相應(yīng)有所增加，但增加幅度并不大。

圖5　本文算法相對(duì)文獻(xiàn)[4]算法在時(shí)間上的增長(zhǎng)百分比

5　結(jié)　語(yǔ)

本文提出了一種利用直接從壓縮域中獲取的信息來(lái)進(jìn)行深度圖推理的算法。通過(guò)對(duì)壓縮域中的幀內(nèi)宏塊和幀間宏塊分別進(jìn)行處理，得到了更加完整而準(zhǔn)確的運(yùn)動(dòng)信息，進(jìn)而通過(guò)運(yùn)動(dòng)補(bǔ)償和上采樣雙邊濾波推理得到深度圖。實(shí)驗(yàn)結(jié)果表明本文方法可以獲得圖像質(zhì)量與推理速度的平衡，為2D到3D視頻轉(zhuǎn)換打下良好的基礎(chǔ)。

[1] 黃曉軍,王梁昊.2D視頻轉(zhuǎn)換3D視頻技術(shù)概覽[J].影視制作,2011,17(2):34-36.

[2] VAREKAMP B, BARENBRUG C. Improved depth propagation for 2D to 3D video conversion using key-frames[C]// 4th European Conference on Visual Media Production. London: IET, 2007: 1-7.

[3] WU C, ER G, XIE X, LI T, et al. A novel method for semi-automatic 2D to 3D video conversion[C]// 3DTV Conference: the True Vision - Capture, Transmission and Display of 3D Video. Istanbul: IEEE. 2008: 65-68.

[4] LIE W N, CHEN C Y, CHEN W C. 2D to 3D video conversion with key-frame depth propagation and trilateral filtering[J]. Electronics Letters, 2011, 47(5): 319-321.

[5] VOSTERS L, DE HAAN G. Efficient and Stable Sparse-to-Dense Conversion for Automatic 2-D to 3-D Conversion[J]. Circuits and Systems for Video Technology, IEEE Transactions on, 2013, 23(3): 373-386.

[6] PHAN R, ANDROUTSOS D. Robust semi-automatic depth map generation in unconstrained images and video sequences for 2d to stereoscopic 3d conversion[J]. Multimedia, IEEE Transactions on, 2014, 16(1): 122-136.

[7] FENG J, CHEN Y, TIAN X. Moving object segmentation algorithm based on cellular neural networks in the H. 264 compressed domain[J]. Optical Engineering, 2009, 48(7): 077001-077001-7.

[8] RIEMENS A K, GANGWAL O P, BARENBRUG B, et al. Multistep joint bilateral depth upsampling [C]// IS&T/SPIE Electronic Imaging. International Society for Optics and Photonics, 2009: 72570M-72570M-12.

(責(zé)任編輯： 陳和榜)

Depth Map Inference Algorithm Based on Video Compression Domain

FENGJie,MAHanjie

(School of Information Science and Technology, Zhejiang Sci-Tech University, Hangzhou 310018, China)

In this paper, the depth map inference algorithm in the process of 2D to 3D video conversion was studied, the depth map inference process is based on the unit of macroblock in video compression domain. The research chose the different inference strategies based on different macroblock types. First, motion vectors for the intra-frame macroblocks were calculated by using the neighboring block based motion estimation algorithm. Then, for intra-frame macroblocks, the motion vectors directly extracted are filtered to improve the robustness. Finally, the depth maps are acquired via motion compensation and an up-sample bilateral filter technique. Experimental results demonstrate that the proposed scheme can generate smooth and reliable depth maps with higher quality.

2D-to-3D video conversion; depth map; motion vector; compression domain

10.3969/j.issn.1673-3851.2016.05.017

2016-01-16

國(guó)家自然科學(xué)基金項(xiàng)目(61501402)

馮杰(1980-)，男，遼寧錦州人，講師，主要從事視頻處理方面的研究。

TP37

A

1673- 3851 (2016) 03- 0421- 06 引用頁(yè)碼： 050605