李 強，范杰羚，明 艷

(重慶郵電大學 信號與信息處理重慶市重點實驗室，重慶 400065)

一種深度圖幀內(nèi)預測模式?jīng)Q策改進算法

李 強，范杰羚，明 艷

(重慶郵電大學 信號與信息處理重慶市重點實驗室，重慶 400065)

為減小3D-高效視頻編碼(three dimensional-high efficiency video coding，3D-HEVC)的編碼復雜度，提出一種深度圖幀內(nèi)預測模式?jīng)Q策改進算法。一方面，采用拉普拉斯邊緣檢測法對是否遍歷深度模型模式(depth modeling modes，DMMs)進行快速判決；另一方面，利用預測單元(prediction unit，PU)的楔形分割線與其紋理特征的相關性，只對候選預測模式中的幀內(nèi)角度模式相關的楔形分割進行搜索，減少楔形分割模式遍歷的數(shù)量，實現(xiàn)DMM1模式的快速決策。經(jīng)測試，算法在平均編碼比特率增加很少的情況下，深度模型模式的平均編碼時間降低了53.65%，而深度圖的合成質(zhì)量基本不變。

多視點視頻加深度；幀內(nèi)預測模式；楔形分割；快速決策

0 引 言

3D(three dimensional)視頻可提供自然場景的立體表達，為人們帶來“身臨其境”的視覺體驗，深受廣大觀眾的喜愛。3D電影、支持3D視頻播放的電視、平板電腦和游戲終端已經(jīng)進入到了百姓的生活中。3D視頻技術應用的普及，對3D視頻編碼技術[1]提出了更高的要求。為了發(fā)展和推廣3D視頻編碼技術，2012年，國際電信聯(lián)盟ITU第16工作組視頻編碼專家組(video coding experts group，VCEG)和動態(tài)圖像專家組(moving picture experts group，MPEG)共同發(fā)起成立了3D視頻聯(lián)合組JCT-3V，制定出了新一代3D視頻編碼標準，將基于高效視頻編碼技術H.265/HEVC[2]的3D視頻編碼擴展為3D-高效視頻編碼(three dimensional-high efficiency video coding，3D-HEVC)[3]。

多視點視頻加深度(multi-view video plus depth，MVD)在不需要傳輸所有視點信息的情況下，可實現(xiàn)用戶觀看視點的自由選擇，是3D-HEVC的標準編碼數(shù)據(jù)格式。MVD中的深度圖用于接收端合成虛擬視點而非直接為觀眾可見，具有大范圍平坦區(qū)域和分割這些區(qū)域的尖銳邊緣，圖中尖銳邊緣的編碼質(zhì)量決定了合成虛擬視點的準確性，如果采用與紋理圖像相同的基于塊的預測算法，會在邊緣處產(chǎn)生明顯的失真。因此，MVD一方面繼承了HEVC的四叉樹編碼結構以及預測模式的遍歷過程；另一方面根據(jù)深度圖的特征，增加了新的幀內(nèi)預測模式，即深度模型模式(depth modeling modes，DMMs)[4]。DMMs的引入提升了深度圖中邊緣輪廓的編碼質(zhì)量，但帶來了編碼復雜度的急劇增加。如何在保證深度圖編碼質(zhì)量的情況下，有效降低編碼復雜度成為3D-HEVC的研究重點。目前很多學者在如何有效降低深度視頻編碼的復雜度上開展了研究，提出了很多有效算法。如文獻[5]對編碼塊進行方差計算，得到楔形最有可能分區(qū)，然后對這些分區(qū)中的楔形分割進行遍歷，雖然減少了編碼時間，但并未考慮是否需要遍歷深度模型模式。文獻[6]利用父輩編碼單元(coding unit，CU)的最優(yōu)幀內(nèi)預測模式與子輩CU的幀內(nèi)預測模式的相關性，減少遍歷模式數(shù)，并且對SDC(segment-wise DC coding)進行提前終止。該方法對CU進行了快速判決，但是視頻質(zhì)量下降較多。文獻[7]對預測單元(prediction unit，PU)進行率失真(rate-distortion，RD)值計算，判定RD值是否大于閾值，決定是否進行雙部分粗略模式?jīng)Q策(rough mode decision，RMD)，以達到快速決策的目的，但該算法并未考慮深度模型模式是否遍歷。文獻[8]利用35種幀內(nèi)模式的RD值，判定是否進行DMM計算，以減少計算復雜度，但算法只對DMM模式進行了快速判決，對復雜度較高的楔形分割沒有進行優(yōu)化。文獻[9]判定CU中的像素點是否屬于Lookup Table，如果CU中的像素點屬于Lookup Table，則對CU進行提前終止，以減小計算復雜度。但算法只對CU進行了快速決策，并未對PU的劃分進行優(yōu)化。

本文針對深度圖幀內(nèi)預測模式提出了一種決策改進算法，采用拉普拉斯檢測法對是否遍歷DMMs模式做快速判決，利用幀內(nèi)預測模式和DMMs之間的相關性，減少模式遍歷的數(shù)量，實現(xiàn)模式的快速決策。實驗測試結果表明，本文改進算法在平均編碼比特率增加很少的情況下，平均編碼時間大幅度減少，而視頻質(zhì)量基本不變。

1 深度圖幀內(nèi)預測模式快速決策

1.1 深度圖幀內(nèi)預測模式?jīng)Q策過程

3D-HEVC深度圖幀內(nèi)預測包括傳統(tǒng)的35種幀內(nèi)預測模式和2種DMMs。35幀內(nèi)預測包含33種角度預測模式，1種平面模式Planar和1種直流模式DC，DMMs包含了楔形(wedgelet)分割模式DMM1和輪廓(contour)分割模式DMM4，如圖1所示。

圖1 HEVC幀內(nèi)預測模式(0：Planar 1：DC)Fig.1 Intra prediction modes in HEVC(0：Planar 1：DC)

深度圖的幀內(nèi)預測模式?jīng)Q策以預測單元PU為對象，通過粗略模式?jīng)Q策、最有可能模式?jīng)Q策和最優(yōu)模式?jīng)Q策3個過程得到PU塊的最優(yōu)模式判決，具體過程如下。

步驟1對35種幀內(nèi)預測模式進行粗略模式?jīng)Q策，選擇N個最小Cost值所對應的幀內(nèi)預測模式作為粗略模式?jīng)Q策的候選預測模式。對4×4和8×8的PU塊，N為8；對16×16，32×32和64×64的PU塊，N為3。在Cost值的計算公式(1)中，SATD是PU塊的預測殘差進行Hadamard變換后得到的殘差絕對值總和；λ為拉格朗日算子；Bits是對某個預測模式編碼后的二進制比特數(shù)。

Cost=SATD+λ×Bits

(1)

步驟2從當前PU塊相鄰已編碼的左塊和上塊的最終幀內(nèi)預測模式中選擇0～2種模式作為最有可能模式(most probably modes，MPMs)。

步驟3把N種候選預測模式，MPMs和DMMs添加到全搜索列表RDModeList中，計算出列表中所有預測模式的全RD值。最小全RD值所對應的預測模式即為PU塊的最優(yōu)預測模式。全RD值的計算式為

J=D+ls×λ×R

(2)

(2)式中：J表示率失真值；D為深度圖像和合成視點失真的加權平均值；ls表示縮放因子；R是指在每個決策模式下，需要消耗的比特率。

深度圖幀內(nèi)預測模式?jīng)Q策過程中的DMM判決占整個幀內(nèi)編碼近40%的時間[10]，如果能實現(xiàn)對是否遍歷DMMs進行快速判決，以及在對DMM1決策時，降低遍歷楔形分割模式的數(shù)量，即可實現(xiàn)深度圖幀內(nèi)預測模式的快速判決，降低3D視頻編碼的時間。

1.2 是否遍歷DMMs的快速判決

DMMs用于深度圖陡峭邊界的編碼。由于在深度圖中存在大面積的平坦或緩慢變化區(qū)域，如圖2所示的Dancer深度圖，因此，在實際編碼過程中，選擇DMMs為最優(yōu)編碼模式的概率不大。

圖2 深度圖dancer(1 920×1 088)Fig.2 Depth map dancer(1 920×1 088)

本文選擇3D-HEVC/HTM測試序列作為編碼對象， 7個測試序列的編碼參數(shù)如表1所示。對表1的測試序列在不同深度量化步長(QP)下，統(tǒng)計幀內(nèi)預測編碼選擇DMMs為最優(yōu)模式的概率，如表2所示。選擇DMMs為最優(yōu)模式概率，最小為0.09%，最大也只有5.65%。如果在深度圖幀內(nèi)編碼過程中，總是將DMMs全部加入RDModeList，這將導致預測模式判決的運算量增大。

表1 測試序列參數(shù)Tab.1 Test sequence parameters

在PU塊的N個候選預測模式中，如果第1個模式為Planar，PU塊為平坦區(qū)域，在這種情況下，不用把DMMs添加到RDModeList中；除此之外，如果能通過對PU塊紋理特征的分析，決定是否在RDModeList表中添加DMMs，就可減小遍歷DMMs的數(shù)量，加快幀內(nèi)預測模式的決策。

表2 DMMs為最優(yōu)模式的統(tǒng)計概率Tab.2 DMMs statistical rate as best mode

由于DMMs為最優(yōu)模式的PU塊的亮度方差值要大于其他幀內(nèi)預測模式為最優(yōu)模式的PU塊的方差值，因此，常采用方差法來判決是否遍歷DMMs。首先，計算出PU塊亮度方差Var；然后，與某一閾值Tth做比較，如果Var大于Tth，則把DMMs添加到RDModeList中。Var和Tth的計算式如(3)-(5)式。

(3)

Tth=Vth×Vth-8

(4)

(5)

(3)-(5)式中：QP為PU塊的深度量化步長；max表示取2個數(shù)值中的最大值；fi，M和n分別為PU塊像素的亮度值，亮度平均值和個數(shù)。

方差是PU塊亮度對比度的一種粗略估計，其值越大，亮度對比度越高。因此，根據(jù)方差值的大小可判斷出PU塊是否存在邊緣，但這種判定方法的計算量較大。本文采用如圖3所示的拉普拉斯(Laplace)算子對PU塊進行邊緣檢測，采用(6)式計算出PU塊亮度的二階差分值▽2f，如果▽2f不為0，則把DMMs添加到RDModeList中。

0101-41010

圖3拉普拉斯算子
Fig.3 Laplace operator

▽2f=f(i+1,j)+f(i-1,j)+f(i,j+1)+

f(i,j-1)-4f(i,j)

(6)

(6)式中：f(i+1,j)，f(i-1,j)，f(i,j+1)，f(i,j-1)和f(i,j)分別為Laplace算子對應深度圖像素的亮度值。

Laplace檢測法和方差法的運算量的對比如表3所示。當PU塊為32×32和16×16時，Laplace檢測法需要的最大加法次數(shù)要略多于方差法，但Laplace檢測法不需要做乘法運算，因此，Laplace檢測法的運算量要小于方差法。在本文算法中，對32×32，16×16和8×8的PU塊采用Laplace檢測法，對4×4的PU塊，采用方差法進行檢測。

表3 方差法和Laplace檢測法運算量的比較Tab.3 Comparison of operation for variance and Laplace detection method

1.3 楔形分割模式快速判決

DMMs將深度圖中的PU塊分割成2個非矩形區(qū)域后，判斷出最優(yōu)分割模式，計算每個區(qū)域的分塊常數(shù)值。楔形分割用一條直線將PU塊分成2個非矩形區(qū)域，遍歷PU塊所有可能的起始點和終點后，選擇失真最小的分割模式作為最優(yōu)分割模式。該方法在初始化時，先建立一個包含楔形所有分割模式的索引初始化列表，然后對PU塊的分割模式進行決策，遍歷PU塊對應的楔形分割模式列表中的每一種模式，因此，這種全搜索楔形分割模式算法的計算量很大。圖4為4×4的PU塊86種全搜索楔形分割模式，黑色區(qū)域和白色區(qū)域分別表示楔形分割線兩側(cè)的區(qū)域。當PU塊較大時(如16×16)，楔形分割模式數(shù)達到1 349，其決策過程耗時很大。

3D-HEVC對全搜索法進行了改進，采用粗略搜索和精細搜索相結合的雙層搜索算法來減小決策復雜度，如圖5所示。雙層搜索算法決策過程為：①建立粗略搜索列表集。以8×8的PU為例，在圖5a中，橫縱坐標每隔一個點作為起始點和終點，2點之間的黑實連線為粗略搜索集的一種分割模式。圖5b中的虛線表示某個粗略分割模式周圍8個參考方向的精細搜索；②遍歷PU對應的楔形粗略搜索集中的所有模式，得到最小失真楔形分割模式索引；③遍歷楔形粗略模式的8種精確搜索，最小失真的楔形分割模式即為該PU塊的最終分割模式。

圖4 4×4PU塊的86種楔形分割模式Fig.4 4×4 PU 86 wedgelet pattern

圖5 雙層搜索算法的粗略搜索和精細搜索Fig.5 Double-layer search of rough and refine search

與全搜索算法相比，雙層搜索算法減小了遍歷楔形分割模式的數(shù)量，降低了計算復雜度。這2種算法遍歷分割模式數(shù)的對比如表4所示。

表4 全搜索法與雙層搜索法遍歷楔形分割模式數(shù)的比較Tab.4 Wedgelet patterns’ comparison of full search and double-layer search

為了降低DMM1存儲楔形分割模式需要的存儲容量，3D-HEVC采用16×16塊的楔形分割模式來代替32×32塊的楔形分割模式[10]。

由表4可以看出，雙層搜索算法仍需遍歷較多的楔形分割模式，復雜度仍然很高。由于PU塊的楔形分割線與其紋理特征具有很強的相關性，因此，可利用這種相關性來減小遍歷楔形分割模式的次數(shù)。在PU塊N個候選預測模式中，存在一個或幾個幀內(nèi)角度模式，可只對與這些角度模式相關的楔形分割模式進行搜索?；谶@種相關性，本文提出一種楔形分割模式快速決策算法，具體過程如下。

步驟1建立一個與33種幀內(nèi)角度模式相關的初始化楔形分割列表WedModeList。以4×4的PU塊為例，根據(jù)楔形分割模式與幀內(nèi)角度模式的相關性，把86種楔形分割模式分成33個子集。幀內(nèi)角度預測模式7對應4種楔形分割，模式20對應3種楔形分割模式，如圖6所示。

圖6 角度模式7和角度模式20對應的楔形分割Fig.6 Angle 7 and 20 mode corresponding to the wedgelet patterns

步驟2經(jīng)過粗略搜索和最有可能模式搜索后，得到PU塊的全搜索列表RdModeList。如果列表中需遍歷DMMs，則根據(jù)RdModeList列表包含的幀內(nèi)角度模式遍歷對應的楔形分割，最小失真的楔形分割模式即為PU塊的最終楔形分割模式。

與雙層搜索算法相比，本文算法大幅度減小了遍歷楔形分割模式的數(shù)量，降低了幀內(nèi)模式?jīng)Q策復雜度。表5是本文算法與雙層搜索算法遍歷分割模式數(shù)的對比。

表5 本文算法與雙層搜索法遍歷楔形模式數(shù)Tab.5 Number of wedgelet patterns for double-layer search and fast search

1.4 深度圖幀內(nèi)模式快速決策算法流程

基于以上分析，本文提出的一種深度圖幀內(nèi)模式快速決策算法流程如圖7所示。

圖7 快速幀內(nèi)模式?jīng)Q策算法流程Fig.7 Flow chart of a fast intra mode decision algorithm

2 性能測試

本文提出的深度圖幀內(nèi)預測模式?jīng)Q策改進算法和文獻[5]的算法均在HTM-13.0[11]測試平臺上進行了實現(xiàn)，并分別通過與HTM-13.0測試平臺原有算法性能指標的對比來評估本文改進算法性能。

2.1 客觀性能指標的測試和對比

按照JCT-3V制定的測試標準對幀內(nèi)預測模式?jīng)Q策算法性能進行評估，編碼對象為表1中的7個測試序列；深度量化步長QP取4個值，分別為39，42，45和48[12]；測試設備為泰克公司的PQA600A圖像質(zhì)量分析儀(CPU為Intel Xeon E5-2630，內(nèi)存為32 GBtye)；測試指標采用BD-PSNR，BDBR[13]和DT[14]。BD-PSNR是評價圖像質(zhì)量的指標，表示在給定的同等碼率下，2種方法的亮度峰值信噪比PSNR-Y的差異；BDBR是衡量編碼效率的指標，是在同樣客觀質(zhì)量下，2種方法的碼率節(jié)省情況；DT是評估算法復雜度的指標，表示2種算法編碼時間的節(jié)省比例。

表6 本文算法與文獻[5]算法DT值的比較Tab.6 Comparison of DT cost for the proposed algorithm and the reference[5] algorithm %

表7 本文算法與文獻[5]算法BDBR值的比較Tab.7 Comparison of BDBR for the proposed algorithm and the reference [5] algorithm %

表8 本文算法與文獻[5]算法BD-PSNR值的比較Tab.8 Comparison of BD-PSNR for the proposed algorithm and the reference [5] algorithm dB

表6-表8是本文算法與文獻[5]算法性能指標的對比，正值和負值分別表示與深度模型模式原算法相比性能指標數(shù)值的增加和減少量，表6-表8中的每個數(shù)據(jù)是編碼器分別在4個不同量化步長下測試結果的平均值。本文算法相對深度模型模式原算法平均編碼時間節(jié)省了53.65%，平均編碼比特率增加了1%，亮度峰值信噪比減小了0.15 dB。而文獻[5]算法相對深度模型模式原算法平均編碼時間減少了45.73%，平均編碼比特率增加了1.12%,亮度峰值信噪比減小了0.17 dB。測試結果說明，本文算法與深度模型模式原算法相比，平均編碼時間大幅度減少，而平均編碼比特率增加較少，客觀視頻質(zhì)量指標下降不多。與文獻[5]算法相比，本文算法在有效降低編碼復雜度方面要優(yōu)于文獻[5]算法，平均編碼比特率和亮度峰值信噪比相差不大。

2.2 虛擬視點合成圖主觀質(zhì)量的對比

本文通過解碼后的彩色視頻和深度圖對虛擬視點進行了合成，測試對象為表1中的7個測試序列，彩色視頻的量化步長QP為30，深度圖的QP為39。

圖8 分別采用HTM13.0、文獻[5]和本文3種算法 得到的虛擬視點合成圖Fig.8 Virtual viewpoint composite maps for original algorithm in HTM-13.0，the reference [5] and the proposed algorithm

圖8是分別采用HTM13.0原有算法、文獻[5]算法和本文算法對7個測試序列進行編解碼后得到的虛擬視點合成圖的第1幀。左列圖為采用HTM-13原有算法生成的合成圖，中間列圖為參考文獻[5]的合成圖，右列圖為采用本文算法生成的合成圖。從合成圖的效果表明，本文算法對圖像主觀質(zhì)量的影響很小，很難用肉眼分辨出來。

3 結 論

本文提出了一種深度圖幀內(nèi)預測模式?jīng)Q策改進算法，通過對是否遍歷DMMs進行快速判決，減少遍歷楔形分割模式的數(shù)量來減小計算復雜度。主觀和客觀實驗測試結果表明，本文算法在大幅度降低編碼時間的同時，編碼比特率增加很少，合成的虛擬視點圖像質(zhì)量幾乎不變，對3D-HEVC的應用具有較大的現(xiàn)實意義。下一步將對視點間編碼算法進行研究，對CU的快速決策進行分析，以進一步降低編碼計算復雜度。

[1] 田恬，姜秀華，王彩虹．新一代基于HEVC的3D視頻編碼技術[J].電視技術，2014， 38(11)：5-8.

TIAN Tian，JIANG Xiuhua，WANG Xinhua. Next-generation 3D Video Coding Technology Based on HEVC[J].Video Engineering，2014，38(11)：5-8．

[2] SULLIVAN G J，OHM J R，HAN W J，et al．Overview of the High Efficiency Video Coding (HEVC) Standard[J]．IEEE Transactions on Circuits & Systems for Video Technology，2012，22(12)：1649-1668．

[3] MULLER K，SSHWARZ H，MARPE D， et al．3D High-Efficiency Video Coding for Multi-View Video and Depth Data[J]．IEEE Transactions on Image Processing A Publication of the IEEE Signal Processing Society，2013，22(9)：3366-3378．

[4] LIU H，JIA J．Depth modeling mode coding and decoding method and video codec：WO，2014114168 A1[P]．2014．

[5] FU C H，ZHANG H B，SU W M，et al．Fast wedgelet pattern decision for DMM in 3D-HEVC[C]//IEEE.IEEE International Conference on Digital Signal Processing．Singapore：IEEE Press，2015：447-481．

[6] ZHANG H B，TSANG S H，CHAN Y L，et al．Early determination of intra mode and segment-wise DC coding for depth map based on hierarchical coding structure in 3D-HEVC[C]//Asia-Pacific Signal and Information Processing Association Summit and Conference．HK，China：APSIPA，2015:396-400．

[7] GU Z, ZHENG J， LING N，et al．Fast bi-partition mode selection for 3D HEVC depth intra coding[C]//IEEE.Multimedia and Expo (ICME)，2014 IEEE International Conference on Multimedia & Expo．Sydney，Australia：IEEE Press，2014：1-6．

[8] PARK C S.Efficient intra-mode decision algorithm skipping unnecessary depth-modelling modes in 3D-HEVC[J]. Electronics Letters, 2015, 51(10):756-758.

[9] CHUNG K, HUANG Y, LIN C, et al. Novel Bitrate-Saving and Fast Coding for Depth Videos in 3D-HEVC[J]. IEEE Transactions on Circuits & Systems for Video Technology,2016, 26(10):1859-1869.

[10] TAKESHI T．JCT3V-I0110 Lookup table size reduction in DMM1 [S]．Sapporo，Japan：ISO/EC，2014．

[11] JCT3V．HTM-13．[EB/OL]．(2015-02-11)[2016-07-11]．https://hevc.hhi.fraunhofer.de/svn/svn_3DVCSoftware/tags/HTM-13.0/．

[12] KARSTEN M，ANTHONY V．JCT3V-G1100 Common test conditions of 3DV core experiment[S]. San Jose，US：ISO/EC，2014．

[13] BJONTEGAARD G．Calculation of average PSNR difference between RD-curves[C]// ITU-Telecommunications Standardization Sector Study Group 16 Question6 Video Coding Experts Group(VCEG) 13th Meeting．Austin， US：ITU，2001．

[14] 謝紅，魏麗莎，解武．紋理圖的3D-HEVC深度圖編碼單元快速劃分算法[J]．應用科技，2016，43(2)：14-18．

XIE Hong，WEI Lisha，XIE Wu．A fast coding unit size decision algorithm for the depth map based on texture in 3D-HEVC[J]．Applied Science and Technology，2016，43(2)：14-18．

s：The National Natural Science Foundation of China(61102131); The Science & Technology Research Project of Chongqing Education Committee of China(KJ1400425)

Improveddepthintramodeselectionalgorithm

LI Qiang, FAN Jieling, MING Yan

Chongqing Key Laboratory of Signal and Information Processing, Chongqing University of Posts and Telecommunications, Chongqing 400065, P. R. China)

In order to reduce the 3D-HEVC coding complexity, there is an improved intra prediction mode decision algorithm for depth maps. On the one hand, the proposed algorithm uses Laplace operator edge detection, and determines whether it traverses depth modeling modes or not. On the other hand, a fast DMM1 decision can be realized efficiently by using the correlation between the line of wedgelet pattern and its textural features in prediction unit. Then, it reduces the number of wedgelet pattern modes through wedgelet pattern related to angle modes in candidate list. After tests, the experiments show that the DMMs algorithm is able to reduce the average time of the encoder by 53.65% while minimally reduced bitrate of coding. Besides, the quality of encoded video almost remains unchanged.

multi-view video and depth；intra prediction mode；wedgelet pattern；fast decision

10.3979/j.issn.1673-825X.2017.06.019

2016-07-15

2017-02-24

范杰羚 445413391@qq.com

國家自然科學基金(61102131)；重慶市教委科技項目(KJ1400425)

TP919.81；TP39

A

1673-825X(2017)06-0837-07

李 強(1968 -)，男，湖南益陽人，副教授，碩士，主要研究方向為音視頻信號處理。E-mail：liqiang@cqupt.edu.cn。

范杰羚(1992 -)，男，湖南婁底人，碩士研究生，主要研究方向為視頻編碼。E-mail：445413391@qq.com。

明 艷(1967 -)，女，湖南長沙人，副教授，本科，主要研究方向為數(shù)字通信技術。

(編輯：王敏琦)