葛 川,劉 琚,2,元 輝,,肖依凡,李鳳榮

(1.山東大學(xué)信息科學(xué)與工程學(xué)院,山東濟(jì)南 250101;2.山東大學(xué)蘇州研究院,江蘇蘇州 215123; 3.中國(guó)科學(xué)院上海微系統(tǒng)與信息技術(shù)研究所無(wú)線傳感網(wǎng)與通信重點(diǎn)實(shí)驗(yàn)室,上海 200050)

一種深度圖的時(shí)域下采樣編碼及重建方法

葛 川1,劉 琚1,2,元 輝1,3,肖依凡1,李鳳榮3

(1.山東大學(xué)信息科學(xué)與工程學(xué)院,山東濟(jì)南 250101;2.山東大學(xué)蘇州研究院,江蘇蘇州 215123; 3.中國(guó)科學(xué)院上海微系統(tǒng)與信息技術(shù)研究所無(wú)線傳感網(wǎng)與通信重點(diǎn)實(shí)驗(yàn)室,上海 200050)

為提高三維視頻系統(tǒng)的編碼效率,提出了一種針對(duì)中間視點(diǎn)的深度時(shí)域下采樣編碼方法.首先確定深度圖像的丟棄方式;然后利用基于時(shí)間一致性和視點(diǎn)間的相關(guān)性,恢復(fù)出丟棄的深度圖像,并對(duì)恢復(fù)出的結(jié)果進(jìn)行維納濾波,進(jìn)一步提高恢復(fù)的深度圖的質(zhì)量.該方法需要向編碼端發(fā)送維納濾波器系數(shù)和重建深度選擇標(biāo)識(shí)符.實(shí)驗(yàn)結(jié)果表明,在保證同等碼率的前提下,解碼端重建的虛擬視圖的峰值信噪比最大能提升0.229 dB,平均提升0.130 dB,編碼性能得到改善.

視頻編碼;立體圖像處理;深度圖時(shí)域下采樣;時(shí)間一致性;視點(diǎn)間相關(guān)性

隨著數(shù)字多媒體處理技術(shù)以及顯示技術(shù)的發(fā)展,人們對(duì)真實(shí)視覺體驗(yàn)的需求日益增強(qiáng),三維視頻(3-Dimensional Video,3DV)已成為新的研究熱點(diǎn).相對(duì)于傳統(tǒng)視頻,三維視頻可以給觀眾帶來(lái)真實(shí)三維場(chǎng)景的視覺體驗(yàn),并廣泛應(yīng)用于各個(gè)領(lǐng)域,極大地豐富了現(xiàn)有的媒體內(nèi)容[1].

在現(xiàn)今的研究和應(yīng)用中,三維視頻的數(shù)據(jù)格式主要分為多視點(diǎn)視頻(Multi-view Video,MV)格式和多視點(diǎn)視頻+深度(Multi-view Video+Depth,MVD)格式兩種.前者只能提供有限數(shù)量視點(diǎn)的三維體驗(yàn)[2],而后者可用于基于深度圖像的生成技術(shù)[3]合成中間任意視點(diǎn)的虛擬視頻,因而MVD數(shù)據(jù)格式被選作制定三維視頻編碼標(biāo)準(zhǔn)的數(shù)據(jù)格式,并被廣泛應(yīng)用.

在三維視頻應(yīng)用中,深度信息有其特定的特點(diǎn)和應(yīng)用.首先,深度圖是單色圖且只包含有平滑的紋理區(qū)域以及尖銳的邊緣區(qū)域;然后,與多視點(diǎn)紋理視頻相比,深度圖對(duì)合成的虛擬視圖的質(zhì)量影響較小;接著,與深度圖的平滑區(qū)域相比,深度圖的邊緣對(duì)于合成虛擬視圖的質(zhì)量的影響較大;最后,深度圖的編碼目標(biāo)是為了保證繪制高質(zhì)量的虛擬視點(diǎn),而非用于用戶的視覺體驗(yàn)[4].因此,利用MVD表征一個(gè)立體場(chǎng)景并利用傳統(tǒng)的多視點(diǎn)編碼標(biāo)準(zhǔn)來(lái)進(jìn)行編碼,雖然已經(jīng)減少了相當(dāng)大的數(shù)據(jù)量,但是這并不能為多視點(diǎn)內(nèi)容提供具有成本效益的壓縮率,故研究適應(yīng)深度圖自身特點(diǎn)的編碼技術(shù)顯得至關(guān)重要.為了提高深度圖編碼效率,文獻(xiàn)[5-6]中提出了基于虛擬視圖質(zhì)量的率失真優(yōu)化算法;文獻(xiàn)[7]中提出了一種深度圖編碼解析算法,它不僅可以對(duì)簡(jiǎn)單而平滑的紋理區(qū)域進(jìn)行有效編碼,同時(shí)能夠有效地保護(hù)深度圖的尖銳的邊緣區(qū)域.此外,研究人員在文獻(xiàn)[8-9]中提出了深度圖的下采樣編碼方法.文獻(xiàn)[8]中利用一種空間重建濾波器以及空間的下采樣及上采樣方法來(lái)提高深度圖的編碼效率;文獻(xiàn)[9]中則是提出了一種深度時(shí)域下采樣的MVD編碼方法.

由于深度圖與紋理視頻對(duì)虛擬視點(diǎn)的不同影響,筆者提出對(duì)中間視點(diǎn)的深度進(jìn)行時(shí)域下采樣編碼的方法.該方法考慮到視點(diǎn)內(nèi)的時(shí)間一致性以及視點(diǎn)間的相關(guān)性信息,首先分析確定深度時(shí)域下采樣方式,然后提出一種基于深度信息傳播的深度圖時(shí)域上采樣恢復(fù)方法.

1　多視點(diǎn)視頻編碼結(jié)構(gòu)

以高性能視頻編碼(High Efficiency Video Coding,HEVC)標(biāo)準(zhǔn)的多視點(diǎn)視頻編碼平臺(tái)(3D-HEVC)為例,MVD數(shù)據(jù)包括左視點(diǎn)、中間視點(diǎn)和右視點(diǎn)3個(gè)紋理視頻以及相應(yīng)的深度圖,如圖1所示.左視點(diǎn)作為參考視點(diǎn)(可獨(dú)立編解碼),其他視點(diǎn)則依賴于參考視點(diǎn)進(jìn)行編碼.所有的紋理視頻和深度圖都是通過分等級(jí)B幀的時(shí)間預(yù)測(cè)結(jié)構(gòu)進(jìn)行預(yù)測(cè)的.

圖1　具有4個(gè)時(shí)域增強(qiáng)層的可分層B幀編碼結(jié)構(gòu),時(shí)域?qū)訌母叩降鸵来螢門L0,TL1,TL2和TL3

在同一視點(diǎn)內(nèi)部幀間預(yù)測(cè)時(shí),采用運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)(Motion-Compensated Prediction,MCP);在視點(diǎn)間預(yù)測(cè)時(shí),采用視差補(bǔ)償預(yù)測(cè)(Disparity-Compensated Prediction,DCP).在分等級(jí)B幀結(jié)構(gòu)中,每8幀作為一個(gè)圖像組(Group Of Pictures,GOP),圖像組的第1幀圖像稱為關(guān)鍵幀.具體的預(yù)測(cè)方式如下:關(guān)鍵幀處于最高時(shí)間層(記為TL0,對(duì)應(yīng)于0層),需要利用最高保真度進(jìn)行編碼.對(duì)于一個(gè)需要進(jìn)行運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)的時(shí)域?qū)拥膸?假設(shè)時(shí)域?qū)訛門L2),只有更高的時(shí)域?qū)拥膸?時(shí)域?qū)訛門L0或TL1)或者是相同時(shí)域?qū)拥膸?時(shí)域?qū)訛門L2)才可以被用于作為參考幀.這時(shí),所有的關(guān)鍵幀(時(shí)域?qū)訛門L0的幀所構(gòu)成的序列)就是所支持的最低時(shí)域分辨率.

2　深度圖時(shí)域下采樣及重建方法

首先對(duì)編碼結(jié)構(gòu)進(jìn)行分析從而決定以何種方式對(duì)深度圖下采樣,進(jìn)而降低深度圖編碼比特率.接著,被丟棄的深度圖將會(huì)通過深度信息傳播的內(nèi)插法,并加以維納濾波后處理進(jìn)行重建.

2.1深度時(shí)域下采樣結(jié)構(gòu)

圖1中,TL0層的所有幀進(jìn)行時(shí)域獨(dú)立編碼,因而這些幀的保真度通常比其他時(shí)域增強(qiáng)層(TL1,TL2和TL3)要高,同時(shí),根據(jù)編碼順序可以得出,編碼失真是由TL0向TL3逐層傳遞的.層數(shù)越高,此層繼承的編碼失真越大.基于此,筆者提出的深度時(shí)域下采樣方法通過舍棄這些中間視點(diǎn)的最低時(shí)域?qū)拥纳疃葓D來(lái)實(shí)現(xiàn).即圖1中,中間視點(diǎn)的時(shí)域增強(qiáng)層TL3的所有深度圖均被丟棄,但是其左視點(diǎn)以及右視點(diǎn)的深度圖則按原有時(shí)間分辨率進(jìn)行編碼.

2.2丟棄的深度圖的重建

丟棄的深度圖是通過3種不同的深度圖預(yù)測(cè)值非線性融合重建的.3種不同的深度圖預(yù)測(cè)值分別為前向時(shí)間一致性深度圖預(yù)測(cè)值,后向時(shí)間一致性深度圖預(yù)測(cè),視點(diǎn)間相關(guān)性深度圖預(yù)測(cè)值.3種深度圖預(yù)測(cè)值進(jìn)行非線性融合,得到高質(zhì)量的預(yù)測(cè)結(jié)果.

2.2.1前向及后向時(shí)間一致性的深度圖估計(jì)

為了高質(zhì)量地重建丟棄的深度圖像,對(duì)于中間視點(diǎn),時(shí)域上順次兩兩相鄰的深度幀之間,應(yīng)當(dāng)首先獲得基于像素的前向運(yùn)動(dòng)矢量場(chǎng)(Forward Motion Vector Field,FMVF).文中的運(yùn)動(dòng)矢量場(chǎng)是基于編碼端和解碼端解碼重建的紋理視頻,采用一個(gè)改進(jìn)的光流算法來(lái)計(jì)算得到的[10].

圖2　解碼重建圖像與標(biāo)記不可靠區(qū)域的二值圖像對(duì)比

(1)初始像素深度值分配.對(duì)于中間視點(diǎn)丟棄的深度圖的像素值,首先利用未被丟棄的深度圖的像素值以及前項(xiàng)運(yùn)動(dòng)矢量場(chǎng)進(jìn)行初始化分配.在被丟棄的深度圖中,由于遮擋或者一些不可靠的前向運(yùn)動(dòng)矢量影響而形成的沒有深度值分配的像素位置,共同構(gòu)成了深度不可靠區(qū)域.筆者將這些不可靠區(qū)域在二值圖中用黑色像素點(diǎn)進(jìn)行標(biāo)記.解碼后的圖像與二值圖像的對(duì)比如圖2所示.

(2)針對(duì)深度不可靠區(qū)域的外推.筆者采用外推法獲得不可靠區(qū)域像素點(diǎn)的深度值.為了便于描述,將深度可靠點(diǎn)與深度不可靠點(diǎn)構(gòu)成的區(qū)域分別記作θD和φD.對(duì)于不可靠區(qū)域φD中某一個(gè)的深度不可靠點(diǎn)φD,它在中間視點(diǎn)的解碼重建的紋理圖中對(duì)應(yīng)于點(diǎn)φT.對(duì)φDest的深度值估計(jì)可通過對(duì)其局部窗口內(nèi)可測(cè)點(diǎn)進(jìn)行加權(quán)平均得到,計(jì)算方法如下:

其中,ωi是加權(quán)因子,N是以φD為中心的局部窗口(大小為W×W,記作ΩD)內(nèi)的可靠點(diǎn)數(shù),i∈{1,…, N}的數(shù)量.同時(shí),可以在中間視點(diǎn)解碼重建的紋理圖中找到對(duì)應(yīng)的像素點(diǎn)及對(duì)應(yīng)的局部窗口ΩT.加權(quán)系數(shù)ωi可以通過相對(duì)應(yīng)的解碼重建的紋理圖的亮度信息獲得,計(jì)算方法如下:

為了獲得被舍棄的深度幀的后向時(shí)間一致性深度預(yù)測(cè)算子,必須得到中間視點(diǎn)的連續(xù)時(shí)間深度圖的后向運(yùn)動(dòng)矢量場(chǎng)(Backward Motion Vector Field,BMVF).與前向方法類似,可以根據(jù)獲得的后向運(yùn)動(dòng)矢量場(chǎng)產(chǎn)生后向的時(shí)空一致性深度預(yù)測(cè).

2.2.2基于多視點(diǎn)對(duì)應(yīng)性的深度值預(yù)測(cè)

中間視點(diǎn)的多視點(diǎn)對(duì)應(yīng)性深度圖預(yù)測(cè)值是左視點(diǎn)以及右視點(diǎn)對(duì)應(yīng)時(shí)刻的深度圖通過三維變換而產(chǎn)生的[4].這種視點(diǎn)間三維變換的本質(zhì)是坐標(biāo)變換,即某一視點(diǎn)中的一個(gè)像素點(diǎn)可以投影到不同視點(diǎn)圖像中坐標(biāo)中的另一點(diǎn).

在一個(gè)雙視點(diǎn)系統(tǒng)(左/右相鄰視點(diǎn)與中間視點(diǎn)兩個(gè)視點(diǎn))中,一個(gè)任意的三維世界坐標(biāo)系中的點(diǎn)M(坐標(biāo)值為(X,Y,Z)T),它在相鄰視點(diǎn)的投影點(diǎn)為m(其非齊次坐標(biāo)值為(x,y)T),它在中間視點(diǎn)的投影點(diǎn)為m′(其非齊次坐標(biāo)值為(x′,y′)T).在假設(shè)三維世界坐標(biāo)系統(tǒng)等同于相鄰視點(diǎn)的攝影坐標(biāo)系統(tǒng)的坐標(biāo)系時(shí),m可投影到M,關(guān)系如下:

其中,Zm為m的深度值,矩陣A是相鄰視點(diǎn)攝像機(jī)的3×3內(nèi)參系數(shù)矩陣.M被投影到中間視點(diǎn)中的m′,如下所示:

其中,Zm′為m′的深度值,矩陣A′是相鄰視點(diǎn)攝像機(jī)的3×3內(nèi)參系數(shù)矩陣,R′是中間視點(diǎn)攝像機(jī)的3×3內(nèi)參系數(shù)矩陣,t′為中間視點(diǎn)攝像機(jī)的3×1的平移向量(tx′,ty′,tz′)T.由式(3)和式(4)推導(dǎo)可得

對(duì)于一個(gè)經(jīng)過校準(zhǔn)的雙視點(diǎn)攝像系統(tǒng),A′與A相同,R′與單位矩陣I相同.同時(shí),由于中間視點(diǎn)攝像機(jī)和相鄰視點(diǎn)攝像機(jī)通常是水平排列的,則Zm與Zm′相等且ty′,tz′分量均為零.內(nèi)參矩陣A的第1行第1列元素A1,1存儲(chǔ)的是攝像機(jī)矩陣焦距f,tx′為兩個(gè)攝像機(jī)的基線距離l,則

因此,考慮到不同視點(diǎn)間m和m′之間的關(guān)系,筆者利用編碼系統(tǒng)中傳輸?shù)臄z像機(jī)參數(shù)及相應(yīng)的深度圖,通過式(6)完成坐標(biāo)變換,從而形成中間視點(diǎn)的多視點(diǎn)對(duì)應(yīng)性深度圖預(yù)測(cè)值.

2.2.3深度預(yù)測(cè)值的融合及后處理

前向及后向時(shí)間一致性深度圖預(yù)測(cè)值是通過時(shí)域一致性產(chǎn)生的,它在重建尖銳的深度過渡區(qū)域效果很好,但是它可能在某些深度平滑區(qū)域以及物體運(yùn)動(dòng)形成的空洞區(qū)域表現(xiàn)較差.基于視點(diǎn)間相關(guān)性的深度圖預(yù)測(cè)值是通過三維變換得到的,極易受到強(qiáng)遮擋區(qū)域以及圖像邊界的影響,但是它預(yù)測(cè)平滑的深度區(qū)域表現(xiàn)出眾.筆者最終對(duì)合成的深度圖中的每一個(gè)16×16的塊都在這3種深度預(yù)測(cè)值中進(jìn)行選擇.為了得到質(zhì)量更好的中間視點(diǎn)質(zhì)量,采用原始的中間視點(diǎn)的深度圖作為參考,進(jìn)行選擇.因此,需要對(duì)每一個(gè)16×16的塊用2 bit做標(biāo)識(shí)(等于0、1或2),指明采用哪種預(yù)測(cè)值進(jìn)行預(yù)測(cè),此標(biāo)識(shí)需傳輸至解碼端用作重構(gòu)解碼.

為了進(jìn)一步提高合成虛擬視圖的質(zhì)量,在深度圖的重建過程中采用維納濾波器[11]來(lái)提高重建深度圖的質(zhì)量.首先在編碼端通過比較重構(gòu)深度圖與原始深度圖來(lái)計(jì)算維納濾波器系數(shù);然后將濾波系數(shù)傳送至三維視頻系統(tǒng)解碼端,如圖3所示.

圖3　筆者提出的三維視頻系統(tǒng)框圖

3　實(shí)驗(yàn)結(jié)果及分析

實(shí)驗(yàn)采用了6個(gè)標(biāo)準(zhǔn)視頻序列:Book Arrival(1 024×768,16.67,49,6-8-10),Newspaper(1 024×768, 30,49,2-4-6),Kendo(1 024×768,30,49,1-3-5),Balloons(1 024×768,30,49,1-3-5),Lovebird1(1 024× 768,30,49,4-6-8)和Ghost TownFly(1 920×1 080,25,49,1-5-9),括號(hào)內(nèi)分別為分辨率、碼率、編碼幀數(shù)、采用視點(diǎn).在基于高性能視頻編碼標(biāo)準(zhǔn)的三維視頻C編碼平臺(tái)8.0版本(3D-HTM 8.0)中進(jìn)行結(jié)果驗(yàn)證[12].每個(gè)測(cè)試序列采用固定的紋理量化參數(shù)(Quantization Parameter,QP)進(jìn)行編碼.本實(shí)驗(yàn)采用了4對(duì)量化參數(shù)值對(duì),分別為(32,18),(32,24),(32,30)和(32,36),與3D-HTM 8.0以及采用相同下采樣的文獻(xiàn)[9]中的方法相比較,來(lái)驗(yàn)證筆者所提算法的性能.

表1　實(shí)驗(yàn)結(jié)果

視點(diǎn)A表示左視點(diǎn)與中間視點(diǎn)合成得到的虛擬視點(diǎn),視點(diǎn)B表示由中間視點(diǎn)和右視點(diǎn)合成得到的虛擬視點(diǎn).采用圖4所示比特率-質(zhì)量曲線來(lái)評(píng)價(jià)所提方法的性能,其中縱坐標(biāo)表示視點(diǎn)A及視點(diǎn)B的平均峰值信噪比(Peak Signal to Noise Ratio,PSNR),橫坐標(biāo)表示總的編碼比特率.從圖4可以看出,與3D-HTM 8.0、文獻(xiàn)[9]中的方法相比,筆者提出的方法效果最好.

圖4　三維視頻系統(tǒng)框圖

表1給出了具體的數(shù)值比較結(jié)果.其中Bjontegaard峰值信噪比(BD-PSNR)[13]表示在同樣編碼碼率條件下,測(cè)試算法與參考算法(3D-HTM8.0)之間的峰值信噪比增益.雖然編碼標(biāo)識(shí)位的碼率很低,但是筆者將其也算入了碼率結(jié)果中.從表1可以看出,筆者提出的方法優(yōu)于文獻(xiàn)[9]中的方法;對(duì)于Balloons序列,筆者提出方法的BD-PSNR可達(dá)0.299 dB;對(duì)所有序列而言,BD-PSNR的平均值為0.130 dB.

4　總 結(jié)

筆者提出了一種針對(duì)中間視點(diǎn)的深度時(shí)域下采樣編碼方法.首先通過分析三維視頻編碼平臺(tái),確定深度圖像的丟棄方式,然后提出利用時(shí)間一致性和空間一致性方法恢復(fù)出丟棄的深度圖像,最后采用了維納濾波的方法以提高恢復(fù)的深度圖質(zhì)量.在恢復(fù)深度圖過程中,首先利用時(shí)間一致性得出前向、后向時(shí)間一致性深度圖預(yù)測(cè),利用多視點(diǎn)對(duì)應(yīng)性得出基于多視點(diǎn)對(duì)應(yīng)性的深度預(yù)測(cè)值,基于原始深度圖對(duì)3個(gè)深度預(yù)測(cè)值進(jìn)行融合.筆者提出的方法需要向編碼端發(fā)送維納濾波器系數(shù)和重建深度選擇標(biāo)識(shí)符.實(shí)驗(yàn)結(jié)果表明,在保證同等碼率的前提下,解碼端重建的虛擬視圖的質(zhì)量(峰值信噪比)能夠得到有效的提升.

[1]GE C,LIU J,YUAN H.Optimizing Rate Allocation between Multiview Videos and Associated Depth Maps with Quantization-based Virtual View Distortion Model and Genetic Algorithm[J].Journal of Electronic Imaging,2014,23 (6):063016.

[2]馬祥,霍俊彥,任光亮,等.利用視頻和深度圖相關(guān)性的深度圖幀內(nèi)編碼[J].西安電子科技大學(xué)學(xué)報(bào),2015,42(3): 1-7. MA Xiang,HUO Junyan,REN Guangliang,et al.Depth Map Intra Coding Based on Correlation Between Video and Depth Maps[J].Journal of Xidian University,2015,42(3):1-7.

[3]FEHN C.Depth-image-based Rendering(DIBR),Compression,and Transmission for a New Approach on 3D-TV [C]//Proceedings of SPIE:5291.Bellingham:SPIE,2004:93-104.

[4]YUAN H,KWONG S,GE C,et al.Interview Rate Distortion Analysis-Based Coarse to Fine Bit Allocation Algorithm for 3-D Video Coding[J].IEEE Transactions on Broadcasting,2014,60(4):614-625.

[5]YUAN H,KWONG S,LIU J,et al.A Novel Distortion Model and Lagrangian Multiplier for Depth Maps Coding[J]. IEEE Transactions on Circuits and Systems for Video Technology,2014,24(3):443-451.

[6]YUAN H,LIU J,LI Z,et al.Virtual View Oriented Distortion Criterion for Depth Maps Coding[J].Electronics Letters,2012,48(1):23-25.

[7]GRAZIOSI D B,RODRIGUES N M M,PAGLIARI C L,et al.Compressing Depth Maps using Multiscale Recurrent Pattern Image Coding[J].Electronics Letters,2010,46(5):340-341.

[8]OH K,YEA S,VETRO A,et al.Depth Reconstruction Filter and Down/Up Sampling for Depth Coding in 3-D Video [J].IEEE Signal Processing Letters,2009,16(9):747-750.

[9]EKMEKCIOGLU E,WORRALL S T,KONDOZ A M.A Temporal Subsampling Approach for Multiview Depth Map Compression[J].IEEE Transactions on Circuits and Systems for Video Technology,2009,19(8):1209-1213.

[10]LIU C.Beyond Pixels:Exploring New Representations and Applications for Motion Analysis[D].Cambridge: Massachusetts Institute of Technology,2009.

[11]YUAN H,LIU J,XU H,et al.Coding Distortion Elimination of Virtual View Synthesis for 3D Video System: Theoretical Analyses and Implementation[J].IEEE Transactions on Broadcasting,2012,58(4):558-568.

[12]JOINT COLLABORATIVE TEAM FOR 3DV.3D-HTM Software Platform[EB/OL].[2015-06-13].https://hevc. hhifraunhofer.de/svn/svn_3DVCSoftware/tags/.

[13]BJONTEGAARD G.Calculation of Average PSNR Differences between RD-curves[C]//Processings of 13th Meeting of the ITU-T Video Coding Experts Group.Austin:ACEG,2001:1-4.

(編輯:郭 華)

Temporal subsampling based depth maps coding and the reconstruction method

GE Chuan1,LIU Ju1,2,YUAN Hui1,3,XIAO Yifan1,LI Fengrong3
(1.School of Information Science and Engineering,Shandong Univ.,Jinan 250101,China;2.Suzhou Research Institute of Shandong Univ.,Suzhou 215123,China;3.Key Lab.of Wireless Sensor Network&Communication,Shanghai Institute of Microsystem and Information Technology,Chinese Academy of Sciences,Shanghai 200050,China)

In order to improve the coding efficiency of a three-dimensional video system,a depth temporal subsampling based coding method for the intermediate view is proposed.In this paper,the manner of how to discard depth frames is firstly determined.Then,those discarded depths are reconstructed utilizing temporal consistency and multiview correspondences.Finally,in order to further improve the quality of the reconstructed depth,the wiener filter is implemented on the reconstructed results.Filter coefficients and indicators for selecting the depth predictor should be transmitted to the decoder.Experimental results demonstrate that a maximum 0.229 dB and average 0.130 dB peak signal-to noise ratio(PSNR)gain could be achieved for the virtual view reconstructed by the decoder while maintaining the same coding bit rate,and that the coding efficiency can be improved.

video coding;stereo image processing;depth temporal subsampling;temporal consistency; multiview correspondences

TN919.8

A

1001-2400(2016)04-0160-06

10.3969/j.issn.1001-2400.2016.04.028

2015-06-29 網(wǎng)絡(luò)出版時(shí)間：2015-10-21

國(guó)家自然科學(xué)基金資助項(xiàng)目(61201211,61571274);教育部博士點(diǎn)基金資助項(xiàng)目(20120131120032,20130131110029);山東省優(yōu)秀中青年科學(xué)家獎(jiǎng)勵(lì)基金資助項(xiàng)目(BS2012DX021);中國(guó)科學(xué)院無(wú)線傳感網(wǎng)與通信重點(diǎn)實(shí)驗(yàn)室開放課題資助項(xiàng)目(2013002);山東大學(xué)青年學(xué)者未來(lái)計(jì)劃資助項(xiàng)目(2015WLJH39);蘇州市科技計(jì)劃資助項(xiàng)目(SYG201443)

葛 川(1985-),男,山東大學(xué)博士研究生,E-mail:gavinkeh.chuan@gmail.com.

劉 琚(1965-),男,教授,博士,E-mail:juliu@sdu.edu.cn.

網(wǎng)絡(luò)出版地址：http://www.cnkinet/kcms/detail/61.1076.TN.20151021.1046.056.html