斯曉華，王國(guó)中，彭建華

(上海大學(xué) 通信與信息工程學(xué)院，上海 200436)

面向繪制質(zhì)量的深度圖像快速幀內(nèi)編碼

斯曉華，王國(guó)中，彭建華

(上海大學(xué) 通信與信息工程學(xué)院，上海 200436)

與彩色視頻用來(lái)直接顯示不同，在三維視頻系統(tǒng)中深度視頻序列的作用是在繪制虛擬視點(diǎn)時(shí)提供所需的幾何信息，所以直接將現(xiàn)有編碼算法應(yīng)用于深度圖像存在一定的局限性。針對(duì)深度視頻序列的作用以及深度圖像自身特征，提出了一種面向繪制質(zhì)量的深度圖像快速幀內(nèi)編碼方法，該方法包括基于深度圖像統(tǒng)計(jì)特性和空域相關(guān)性的圖像區(qū)域劃分算法、HEVC的快速編碼單元(CU)和預(yù)測(cè)塊(PB)決策算法和幀內(nèi)編碼模式預(yù)先選擇算法。實(shí)驗(yàn)結(jié)果表明：與直接利用HEVC測(cè)試軟件編碼深度視頻相比，該快速算法在保證幾乎相同的主客觀繪制質(zhì)量的前提下，每個(gè)視點(diǎn)的編碼速度平均提升了35%以上。

高效視頻編碼標(biāo)準(zhǔn)；快速幀內(nèi)編碼；區(qū)域劃分算法；編碼單元決策

隨著多媒體應(yīng)用高速發(fā)展，為了更好地適應(yīng)高效編碼和網(wǎng)絡(luò)友好型編碼的需求，在2010年VCEG (Video Coding Experts Group)和 MPEG (Moving Picture Experts Group)聯(lián)合成立了視頻編碼聯(lián)合組 (Joint Collaborative Team on Video Coding，JCT-VC)來(lái)制定高效視頻編碼標(biāo)準(zhǔn)(High Efficiency Video Coding，HEVC)[1]。HEVC采用了多種新的編碼工具來(lái)提高編碼性能[2]，這就導(dǎo)致計(jì)算復(fù)雜度大幅地上升，于是針對(duì)HEVC出現(xiàn)了很多的快速算法，Shen等人[3，4]提出了利用空域相關(guān)性快速編碼單元(Coding Unit，CU)和幀內(nèi)模式?jīng)Q策算法；Jiang和Zhang等人[5，6]提出基于梯度的快速編碼模式?jīng)Q策算法。

由于深度圖像是用來(lái)繪制虛擬視點(diǎn)并不需要顯示，這樣針對(duì)深度視頻這一特性在原有編碼算法上產(chǎn)生了很多的改進(jìn)快速算法，Chang等人[7]利用深度圖像特征提出了一種快速模式?jīng)Q定算法；Zhang等人[8]提出了一種深度圖像楔形提前決定算法；在多視點(diǎn)加深度(Multiview Video Plus Depth， MVD)中，文獻(xiàn)[9]利用深度圖像和彩色圖像的相關(guān)性提高編碼深度。

綜合考慮深度圖像特性和HEVC編碼框架，本文在HEVC參考代碼[10]上實(shí)現(xiàn)了基于繪制質(zhì)量的深度圖像快速幀內(nèi)編碼算法，實(shí)驗(yàn)結(jié)果表明在保證繪制質(zhì)量的前提下，該算法明顯降低了編碼時(shí)間，提升了編碼效率。

1 深度圖像特性和繪制失真

1.1 深度圖像特征概述

深度圖像表征了場(chǎng)景中的幾何信息，圖1(原圖為彩色圖片)可以看出深度圖像是1幅灰度圖像，其紋理與對(duì)應(yīng)的彩色圖像有很強(qiáng)的相關(guān)性且紋理較簡(jiǎn)單。深度圖像的深度值表示鏡頭到目標(biāo)物體之間距離，這樣也就從另一個(gè)側(cè)面表示場(chǎng)景中的物體之間的遠(yuǎn)近關(guān)系。由于同一個(gè)物體的表面到鏡頭的距離是平滑變化的，所以深度圖像邊緣中間存在大片的平滑變化區(qū)域(平坦區(qū)域)。

圖1 彩色圖像和對(duì)應(yīng)深度圖像

總結(jié)深度圖像特征主要有以下幾點(diǎn)：1)深度圖像的深度值表征了目標(biāo)之間的遠(yuǎn)近關(guān)系；2)深度圖像的紋理表示了物體的邊緣，且紋理較為簡(jiǎn)單；3)深度圖像紋理的中心是大片的平坦區(qū)域。

1.2 深度圖像失真與繪制失真

在3D系統(tǒng)的客戶(hù)端通過(guò)基于深度圖繪制(Depth-Image-Based-Rendering，DIBR)技術(shù)[11]，利用深度圖像繪制虛擬視點(diǎn)，下面研究深度圖像編碼失真與繪制的虛擬視點(diǎn)失真之間的關(guān)系。Zhang等人[12]利用DIBR映射原理推導(dǎo)出了在水平陣列相機(jī)情況下深度失真與繪制失真可以近似表示為

ΔPr(Δxh,Δyv)=k·ΔDp(xp,yp)

(1)

式中：ΔPr(Δxh,Δyv)表示在P位置水平失真Δxh和垂直失真Δyv產(chǎn)生的繪制失真；k是尺度因子；ΔDp(xp,yp)表示在P位置深度圖像的失真?？梢钥闯錾疃葓D像失真和繪制失真是成線(xiàn)性關(guān)系。由于深度失真ΔDp(xp,yp)產(chǎn)生映射旋轉(zhuǎn)失真，當(dāng)深度失真一定時(shí)，xp和yp可以分別表示為

(2)

(3)

式中：z，Δz分別表示鏡頭到目標(biāo)之間的距離及其失真；x和y分別表示有失真時(shí)對(duì)應(yīng)的虛擬視的位置?？梢钥闯霎?dāng)距離失真Δz一定時(shí)，距離越遠(yuǎn)繪制失真越小。深度值和距離的對(duì)應(yīng)量化如下

(4)

式中：d為深度圖像的深度值；znear和zfar分別表示鏡頭到目標(biāo)之間的最近距離和最遠(yuǎn)距離。

總之，在水平相機(jī)陣列中，深度圖像失真和對(duì)應(yīng)的虛擬視點(diǎn)失真成線(xiàn)性關(guān)系，且相同深度值失真的情況下，深度值越大的區(qū)域失真越大，也即越近的目標(biāo)失真越大。

2 本文算法

深度圖像的作用是用來(lái)繪制虛擬視點(diǎn)，所以繪制圖像的質(zhì)量是評(píng)價(jià)深度圖像編碼性能的重要指標(biāo)，筆者基于HEVC平臺(tái)提出了一種面向繪制質(zhì)量的深度圖像快速幀內(nèi)編碼算法，該算法利用深度圖像特征提出了基于統(tǒng)計(jì)特性的深度圖像區(qū)域預(yù)劃分算法，并利用空域相關(guān)性對(duì)深度圖像進(jìn)行區(qū)域再劃分。筆者在研究了深度圖像編碼失真對(duì)繪制視質(zhì)量的影響之后，結(jié)合人眼主觀感興趣區(qū)域特性，提出了快速CU決策算法和幀內(nèi)編碼模式預(yù)先選擇算法。

算法實(shí)現(xiàn)主要包括3個(gè)部分：首先，利用深度圖像的特征采用統(tǒng)計(jì)的方法將編碼樹(shù)單元(CodingTreeUnit,CTU)所屬圖像區(qū)域進(jìn)行預(yù)劃分，劃分出前景、背景和待定區(qū)域；然后，利用CU空間相關(guān)性將待定區(qū)域劃分為平坦和紋理區(qū)域，并對(duì)不同的區(qū)域做CU和PB塊大小做提前決策；最后，根據(jù)PB區(qū)域?qū)傩詫?duì)PB幀內(nèi)模式進(jìn)行提前選擇。

2.1 深度圖像區(qū)域預(yù)劃分

由于深度圖像的深度值可以表征目標(biāo)之間的遠(yuǎn)近，本文提出了一種基于統(tǒng)計(jì)的深度圖像區(qū)域預(yù)劃分算法。首先統(tǒng)計(jì)得到深度圖像值的最大值和最小值，獲得判決圖像區(qū)域的閾值，如圖2所示；然后分別統(tǒng)計(jì)每個(gè)CTU像素點(diǎn)屬性，對(duì)CTU所屬圖像區(qū)域進(jìn)行預(yù)劃分，程序流程如圖2所示。

圖2 深度值特征獲取流程

圖2是統(tǒng)計(jì)1幀獲得當(dāng)前幀深度值的最大值Dmax和最小值Dmin，然后通過(guò)式(5)、式(6)獲得當(dāng)前幀的前景和背景劃分的閾值

Tfg=Dmax-(Dmax-Dmin)/4

(5)

Tbg=Dmin+(Dmax-Dmin)/4

(6)

式中：fg和bg分別表示前景和背景像素點(diǎn)個(gè)數(shù)；Tfg和Tbg分別表示前景劃分閾值和背景劃分閾值。這兩個(gè)閾值對(duì)輸入的CTU進(jìn)行區(qū)域預(yù)劃分，通過(guò)圖3的過(guò)程統(tǒng)計(jì)當(dāng)前CTU屬于背

圖3 CTU區(qū)域預(yù)劃分流程

景和前景像素總數(shù)，當(dāng)前景像素總數(shù)大于預(yù)劃分閾值時(shí)，把該CTU劃分為前景區(qū)域；當(dāng)背景像素總數(shù)大于預(yù)劃分閾值時(shí)，把該CTU劃分為背景區(qū)域；其他CTU劃分為待定區(qū)域，這樣就完成了CTU區(qū)域預(yù)劃分。預(yù)劃分閾值Tpre為

(7)

式中：WCTU和HCTU分別CTU的寬和高，是常量。

2.2HEVC的CU和PB決策算法

HEVC中每個(gè)CTU按金字塔分層結(jié)構(gòu)分成一定層數(shù)的CU(用CU的深度表征層數(shù))，而每個(gè)CU在幀內(nèi)編碼時(shí)又劃分為2N×2N和N×N兩種形式的PB。

從1.1節(jié)得出深度圖像有以下特征：深度圖像紋理的中心是大片的平坦區(qū)域，表征目標(biāo)的表面。該文算法預(yù)劃分的前景區(qū)域就是近景物體的表面，該區(qū)域?qū)儆谄教箙^(qū)域，適合HEVC的大塊編碼，結(jié)合經(jīng)驗(yàn)選擇CU的深度為0，PB的大小選擇2N×2N和N×N兩種；從1.2節(jié)得出越遠(yuǎn)的目標(biāo)(背景區(qū)域)編碼失真對(duì)繪制質(zhì)量影響越小，由基于人眼視覺(jué)特性(HumanVisualSystem，HVS)可知人眼對(duì)背景區(qū)域的失真不敏感，綜合考慮這兩點(diǎn)筆者對(duì)背景區(qū)域進(jìn)行了提前決策：CU的深度選擇1和2，PB的大小選擇2N×2N。

CU和PB決策算法充分利用了深度圖像的特征和HVS，對(duì)前景和背景區(qū)域的編碼CU和PB塊大小提前進(jìn)行了提前決策，減少了塊模式選擇運(yùn)算，有效地減少了編碼器的編碼時(shí)間。

2.3 幀內(nèi)編碼模式預(yù)先選擇算法

該部分主要包括兩個(gè)部分：根據(jù)空域相關(guān)性再劃分待定區(qū)域的CU屬性以及幀內(nèi)編碼模式預(yù)先選擇。流程圖如圖4所示，首先判斷當(dāng)前CU是否屬于待定區(qū)域(2.1節(jié)已經(jīng)對(duì)CTU進(jìn)行了區(qū)域預(yù)劃分)，如果不屬于，即當(dāng)前CU屬于前景區(qū)域或者背景區(qū)域，則選擇當(dāng)前PB的編碼模式為0(planar模式，適用于表面平滑濾波)和1(DC模式，適用于平坦區(qū)域)；如果屬于待定區(qū)域，則根據(jù)左上PB的編碼模式來(lái)判定當(dāng)前PB屬性，如果左上PB均為方向模式(幀內(nèi)模式2～34)則當(dāng)前PB屬于紋理區(qū)域需遍歷所有模式；如果左上PB均為模式1則當(dāng)前PB屬于平坦區(qū)域采用模式1；如果左上PB均為模式0則當(dāng)前PB屬于目標(biāo)表面區(qū)域采用模式1；其他情況則采用模式0和1。

圖4 幀內(nèi)編碼模式預(yù)先選擇

本部分利用了PB與周?chē)鶳B的空域相關(guān)性，通過(guò)已編碼的PB對(duì)當(dāng)前PB屬性進(jìn)行預(yù)測(cè)，對(duì)待定區(qū)域的CU進(jìn)一步細(xì)劃分，然后利用不同區(qū)域的特點(diǎn)對(duì)編碼模式進(jìn)行預(yù)先選擇，減少了模式候選項(xiàng)，有效地提升了幀內(nèi)編碼速度。

3 實(shí)驗(yàn)與分析

在Intel(R) Core(TM) i3-2120 CPU，4 GHz RAM，32位Windows 7操作系統(tǒng)下進(jìn)行了實(shí)驗(yàn)，算法實(shí)現(xiàn)的平臺(tái)為HEVC參考模型HM10.0，測(cè)試序列為JCT-3V(Joint Collaborative Team on 3D Video Coding)官方標(biāo)準(zhǔn)序列，左視點(diǎn)序列分別為Balloons(視點(diǎn)3)、ChampagneTower(視點(diǎn)39)、Kendo(視點(diǎn)3)、Lovebird1(視點(diǎn)6)、Newspaper(視點(diǎn)4)、Pantomime(視點(diǎn)37)；右視點(diǎn)序列分別為Balloons(視點(diǎn)5)、ChampagneTower(視點(diǎn)41)、Kendo(視點(diǎn)5)、Lovebird1(視點(diǎn)8)、Newspaper(視點(diǎn)6)、Pantomime(視點(diǎn)39)。然后分別利用HEVC和本文算法編碼左右視點(diǎn)并繪制虛擬視點(diǎn)。本文利用時(shí)間節(jié)省率(Time Saving Rate，TSR)來(lái)表征快速算法編碼速度提升

(8)

由于繪制視點(diǎn)質(zhì)量是表征深度圖像編碼的一個(gè)重要指標(biāo)，本文利用PSNR提升(Increase PSNR，Inc_PSNR)來(lái)表征虛擬視點(diǎn)的客觀質(zhì)量提升，計(jì)算如下

(9)

式中：THM10.0，Tprop分別表示HEVC和本文快速算法的編碼時(shí)間；PHM10.0，Pprop分別表示HEVC和本文快速算法編碼的深度圖像解碼后的繪制視點(diǎn)的PSNR。

從表1可知本文快速算法可以平均提升35%以上的編碼速度，最終繪制的虛擬視點(diǎn)保持了和HEVC編碼基本一致的客觀質(zhì)量。

表1 快速算法編碼節(jié)省時(shí)間率以及虛擬視點(diǎn)PSNR提升

4 結(jié)束語(yǔ)

本文對(duì)深度圖像的特性以及深度失真對(duì)虛擬視點(diǎn)繪制的主客觀質(zhì)量影響進(jìn)行了研究，綜合考慮HEVC編碼塊的結(jié)構(gòu)和幀內(nèi)編碼模式的特征，提出了深度圖像的快速幀內(nèi)編碼方法。為了更好地適應(yīng)于全I(xiàn)幀的應(yīng)用場(chǎng)合并有效地改進(jìn)HEVC編碼計(jì)算的復(fù)雜度，本文采用了3個(gè)算法的有效組合，大量的實(shí)驗(yàn)結(jié)果顯示：本文的算法不僅能夠有效地降低深度圖像編碼復(fù)雜度，而且能夠保證繪制的虛擬視點(diǎn)的主客觀質(zhì)量。

[1]BROSS B，HAN W J，SULLIVAN G J，et al.High efficiency video coding (HEVC) text specification draft 10，document JCTVC-L1003[S].2013.

[2]HAN G J，OHM J R，HAN W J，et al.Overview of the high efficiency video coding(HEVC) standard[J].IEEE Trans.Circuits Syst.Video Technol.，2012，22(12)：1649-1668.

[3]SHEN L，LIU Z，ZHANG X，et al.An effective CU size decision method for HEVC encoders[J].IEEE Trans.Multimedia，2013，15(2)：465-470.

[4]SHEN L，ZHANG Z.An fast CU size decision and mode decision algorithm for HEVC intra coding[J].IEEE Trans.Consumer Electronics，2013，59(1)：207-213.

[5]JIANG W，MA H，CHEN Y.Gradient based fast mode decision algorithm for intra prediction in HEVC[C]//Proc.CECNet 2012.[S.l.]：IEEE Press，2012：1836-1840.

[6]ZHANG Y，LI Z，LI B.Gradient-based fast decision for intra prediction in HEVC[C]//Proc.VCIP 2012.[S.l.]：IEEE Press，2012：1-6.

[7]CHANG Y T，CHUNG W H.Fast intra mode decision for depth map coding[C]//Proc.Consumer Electronics(ISCE 2013).[S.l.]：IEEE Press，2013：93-94.

[8]ZHANG Mengmeng，ZHAO Chuan，XU Jizheng，et al.A fast depth-map wedgelet partitioning scheme for intra prediction in 3D video coding[C]//Proc.Circuits and Systems(ISCAS 2013).Beijing，China：IEEE Press，2013：2852-2855.

[9]ZHANG Q.Low complexity multiview video plus depth coding[J]. IEEE Trans.Consumer Electronics，2011，57(4)：1857-1865.

[10]MCCANN K,BROSS B,HAN W J. High efficiency video coding (HEVC) test model 10 (HM10) encoder description[C]//Proc. 12th JCT-VC Meeting,JCTVC-L 1002.Geneva:JCTVC Press,2013:106-109.

[11]CHRISTOPH F.Depth-image-based rendering(DIBR)，compression and transmission for a new approach on 3D-TV[J].Proceedings of SPIE，2004(5291)：93-104.

[12]ZHANG Q，AN P，ZHANG Y，et al.Efficient rendering distortion estimation for depth map compression[C]//Proc.Image Processing (ICIP 2011).Brussels：IEEE Press，2011：1105-1108.

斯曉華(1990— )，碩士生，主研三維視頻編解碼技術(shù)、深度視頻編碼技術(shù)；

王國(guó)中(1962— )，博士生導(dǎo)師，研究方向?yàn)橐曨l編解碼與多媒體通信、數(shù)字電視、視頻云計(jì)算等；

彭建華(1989— )，碩士生，主研三維深度視頻編碼、圖像處理技術(shù)。

責(zé)任編輯：時(shí) 雯

Fast Depth Map Intra Mode Coding Focus on Quality of View Synthesis

SI Xiaohua，WANG Guozhong，PENG Jianhua

(CommunicationandInformationEngineeringDepartment，ShanghaiUniversity，Shanghai200436，China)

The depth map provides the geometrical information for virtual view rendering in 3D video system and it is not displayed in screen，which is different from the color video.As a result，it is necessary to improve the existing compression algorithm when compress the depth map.Aiming at the function and feature of depth map， a fast depth map intra mode compression method focus on quality of view synthesis is proposed.This fast method include image region segmentation algorithm based on the statistic characteristic of depth map and the spatial correlation，fast CU and PB decision strategy in HEVC and fast intra mode decision algorithm.The experimental results show that the proposed fast method can reduce computation time more than 35% and maintain almost the similar quality of synthesized view.

HEVC；fast intra mode coding；region segmentation algorithm；CU and PB decision

國(guó)家自然科學(xué)基金項(xiàng)目(61271212)；工信部電子信息產(chǎn)業(yè)發(fā)展基金項(xiàng)目(1213711)；上海市科委重點(diǎn)項(xiàng)目 (12511502502)

TN919.81

A

10.16280/j.videoe.2015.05.003

2014-06-13

【本文獻(xiàn)信息】斯曉華，王國(guó)中，彭建華.面向繪制質(zhì)量的深度圖像快速幀內(nèi)編碼[J].電視技術(shù),2015，39(5).