竇環(huán)，賈克斌，陳銳霖，蕭允治，吳強(qiáng)

?

基于紋理平滑度的視點合成失真優(yōu)化快速算法

竇環(huán)1，賈克斌1，陳銳霖2，蕭允治2，吳強(qiáng)1

（1. 北京工業(yè)大學(xué)電子信息與控制工程學(xué)院，北京 100124；2. 香港理工大學(xué)電子資訊工程系，香港九龍 999077）

針對3D-HEVC中深度圖編碼采用的視點合成失真優(yōu)化方法的高復(fù)雜度問題，提出一種基于紋理平滑度的快速算法。首先結(jié)合幀內(nèi)DC預(yù)測特性和統(tǒng)計學(xué)方法分析平坦紋理圖中像素規(guī)律并設(shè)定基于紋理圖平坦度的跳過準(zhǔn)則；然后在深度圖編碼采用視點合成失真優(yōu)化方法時提前分離出紋理圖平坦區(qū)域所對應(yīng)的深度圖區(qū)域，并終止該區(qū)域像素基于虛擬視點合成的視點合成失真計算過程。實驗結(jié)果證明該算法的有效性，能在保持編碼質(zhì)量的同時減少大量編碼時間。

3D-HEVC；深度圖編碼；視點合成失真優(yōu)化；紋理圖平坦度

1 引言

3D視頻由多臺相鄰攝像機(jī)從不同角度對同一場景拍攝得到，不同角度的視頻間具有細(xì)微的視角差異，并通過3D顯示技術(shù)將這些視角不同的視頻分別投射給觀看者雙眼，從而呈現(xiàn)立體感[1]。相比普通的2D視頻，3D視頻能為觀眾提供更為身臨其境的深度視覺感受。隨著近年來多媒體技術(shù)的進(jìn)步，3D視頻的分辨率逐漸提高，而僅能提供2個視點的雙目立體顯示器已逐漸不再滿足用戶需求，能夠提供更多視點數(shù)量的多視點顯示器已成為目前多媒體信息產(chǎn)業(yè)的研究焦點。然而，視點數(shù)的增加會帶來數(shù)據(jù)量的成倍增多，為了降低因視點數(shù)增多帶來的高數(shù)據(jù)碼率，需要采用更為有效的3D視頻編碼方案。

目前，最新的2D視頻編碼標(biāo)準(zhǔn)——高效率視頻編碼(HEVC, high efficiency video coding)于2013年被國際電信聯(lián)盟ITU-T正式批準(zhǔn)，該標(biāo)準(zhǔn)又被稱為Recommendation H.265或ISO/IEC 23008-2 (MPEG-H Part 2)。鑒于其編碼2D視頻的優(yōu)異性能，運(yùn)動圖像專家組MPEG和3D視頻編碼聯(lián)合組JCT-3V開始著手3D視頻編碼的標(biāo)準(zhǔn)化工作，該標(biāo)準(zhǔn)被稱為3D-HEVC[1~3]。

3D-HEVC標(biāo)準(zhǔn)支持多視點視頻加深度(MVD, multi-view video plus depth)視頻格式的編碼。MVD視頻格式包括2個或3個紋理圖視頻和各自對應(yīng)的深度圖序列[4]，解碼端通過利用深度圖像繪制(DIBR, depth image based rendering)技術(shù)可以在原始的視點間合成新的多個虛擬視點[5]。由于深度圖序列相比紋理圖序列更為平滑，對深度圖進(jìn)行編碼可以節(jié)省更多碼流并降低編碼復(fù)雜度。深度圖序列在3D-HEVC中用以合成虛擬視點，因此由編碼深度圖造成的失真會直接導(dǎo)致虛擬視點的失真[6]，如果仍然使用常規(guī)的視頻編碼器來編碼深度圖視頻則不能獲得最佳的編碼效果。由于深度圖視頻不會直接提供給用戶觀看，因此在深度圖編碼模式?jīng)Q策過程中采用的率失真優(yōu)化方法需要考慮到合成的虛擬視點失真，這種技術(shù)又被稱為視點合成失真優(yōu)化(VSO, view synthesis optimization)。

目前，國內(nèi)外眾多學(xué)者都提出了有關(guān)計算合成視點失真值的方法[7~16]。這些方法根據(jù)其是否基于虛擬視點合成過程分成2類。第一類是基于虛擬視點合成過程的方法[7~11]，需要在3D視頻編碼端調(diào)用基于DIBR的虛擬視點合成過程，并根據(jù)其合成的結(jié)果計算合成視點失真值，其中最著名的方法是計算合成視點失真值變化(SVDC, synthesized view distortion change)[7]，該方法已被3D-HEVC視頻編碼測試模型HTM采用[17]，被用于模式選擇、CU劃分以及運(yùn)動矢量繼承和合并中。由于引入了虛擬視點合成過程，計算SVDC可以獲得準(zhǔn)確的虛擬視點失真值，但也由于其基于全像素遍歷的虛擬視點合成過程而帶來巨大的計算復(fù)雜度。有學(xué)者提出方法對SVDC過程進(jìn)行低復(fù)雜度優(yōu)化，文獻(xiàn)[8]提出一種快速跳過(ES, early skip)模式，通過判斷編碼后深度值是否發(fā)生變化來跳過深度圖中不必要的虛擬視點合成過程，該方法能夠節(jié)省大量編碼時間并同時保證編碼質(zhì)量，已被HTM采用[17]；文獻(xiàn)[9~11]分析了已失真深度圖中像素不造成合成視點失真的條件，通過判定像素是否滿足該條件來跳過不必要的編碼過程。第二類是通過設(shè)定模型來計算虛擬視點失真情況的方法，不需要調(diào)用虛擬視點合成過程[12~16]，其中最有名且被HTM采用的方法是視點合成失真(VSD, view synthesis distortion)計算方法[12, 13]，通過分析深度圖質(zhì)量和合成質(zhì)量間關(guān)系定義合成視點的失真值。這類方法由于不在編碼端引入虛擬視點合成過程，能夠大幅度降低編碼時間，但是不能保證其計算得到的值能正確估計實際的合成視點失真。在HTM中，為了不增加計算復(fù)雜度，VSD僅被用在幀內(nèi)模式預(yù)選擇和殘差四叉樹劃分中[17]。

本文基于上述第一類中的SVDC方法，提出一種快速算法來加速其計算過程。首先，根據(jù)視點合成過程中深度圖像素與紋理圖及合成視點的紋理圖像素間關(guān)系，利用位于平坦紋理區(qū)域的失真深度值不會造成合成視點失真的原理，通過結(jié)合幀內(nèi)DC預(yù)測的特性和統(tǒng)計學(xué)方法分析平坦紋理圖中像素規(guī)律并設(shè)定基于紋理圖平坦度的像素跳過準(zhǔn)則，然后利用該準(zhǔn)則判定是否可以跳過深度圖失真像素的虛擬視點合成過程，降低編碼復(fù)雜度。

2 基于SVDC的VSO概述

常規(guī)的視頻編碼器采用基于拉格朗日的率失真優(yōu)化 (RDO) 準(zhǔn)則為模式選擇和運(yùn)動估計過程選取最優(yōu)的模式類別和運(yùn)動矢量。每個候選模式和候選運(yùn)動矢量都需要計算率失真代價，然后選取率失真代價最小的作為最終的模式和運(yùn)動矢量。率失真代價的計算如式(1)所示。

其中，是率失真代價，是失真，是拉格朗日乘子，是編碼所需比特數(shù)。失真值通常由計算差值平方和(SSD, sum of squared differences)或絕對誤差和(SAD, sum of absolute differences)得到。

由于對深度圖進(jìn)行有損編碼后，已編碼深度圖的失真將會直接導(dǎo)致合成視點的失真，因此，式(1)中的失真值需要同時考慮虛擬視點的失真。所以在3D-HEVC深度圖編碼方案中，失真值的計算如式(2)所示。

其中，表示通過VSO過程得到的失真；1和2表示2個權(quán)值；depth表示深度圖自身的失真，通常由計算SSD或SAD獲得；synth表示合成視點的失真，在3D-HEVC標(biāo)準(zhǔn)中由計算SVDC或VSD獲得。

2.1 SVDC定義

SVDC表征了深度圖失真與合成視點失真之間的關(guān)系，并引入虛擬視點合成技術(shù)來提高深度圖編碼的率失真優(yōu)化性能。SVDC定義了由于深度值變化造成的合成視點中的總體失真值變化情況，具體來說SVDC定義了2個合成的虛擬紋理圖和之間的失真值之差，如式(3)和圖1所示。

圖1 SVDC定義

2.2 SVDC的計算

根據(jù)上節(jié)可知，計算SVDC需要引入虛擬視點合成過程，但如果直接將虛擬視點合成過程放在編碼端運(yùn)行，會帶來巨大的編碼復(fù)雜度。為了避免由虛擬視點合成過程導(dǎo)致的編碼端計算復(fù)雜度提高，HTM引入一種方法使加入虛擬視點合成技術(shù)的SVDC計算過程可以簡化，該方法稱之為繪制器模型。繪制器模型有3個主要步驟，分別是初始化、局部重繪制和SVDC計算。

初始化過程在深度圖編碼前進(jìn)行，原始的深度圖和原始的紋理圖在該階段合成完整的虛擬視點紋理圖；一旦深度圖中某一塊編碼完畢且其最終編碼的深度值已獲取，局部重繪制過程開始工作以更新繪制器模型，繪制器模型將深度圖中已編碼塊的原始數(shù)據(jù)更改為編碼后數(shù)據(jù)得到新的深度圖，并且以行為單位重新繪制因深度數(shù)據(jù)改變而影響的局部位置，得到虛擬視點；在模式選擇過程中，將深度圖中當(dāng)前編碼塊的像素值更新為根據(jù)當(dāng)前模式進(jìn)行編碼后得到的值來獲得深度圖，并根據(jù)繪制出虛擬視點，然后按照式(3)計算SVDC。

3 基于紋理圖平滑度的VSO快速算法

原始的SVDC計算過程需要對編碼塊中的每一個像素進(jìn)行變換、內(nèi)插、融合等操作來繪制虛擬視點，然后再利用式(3)計算SVDC，這種全像素遍歷的繪制過程會使需要進(jìn)行繪制的像素數(shù)目隨著3D視頻分辨率的提高而增多，提高了編碼復(fù)雜度。

實際上SVDC的計算過程并不需要對每個像素都進(jìn)行虛擬視點繪制，如文獻(xiàn)[8]所述的ES模式通過判斷其深度數(shù)據(jù)是否失真來跳過一部分像素的SVDC計算過程以節(jié)省編碼時間。除此之外，仍有雖然深度數(shù)據(jù)發(fā)生變化，但虛擬視點不產(chǎn)生失真的其他像素區(qū)域可以跳過。為了判定出這類像素區(qū)域來進(jìn)一步提高編碼效率，本文提出一種基于紋理圖平滑度的VSO快速算法，通過結(jié)合由幀內(nèi)DC預(yù)測和統(tǒng)計學(xué)方法獲得的紋理圖平滑區(qū)域，跳過不產(chǎn)生虛擬視點失真的對應(yīng)深度圖像素區(qū)域的SVDC計算過程。

3.1 算法描述

在虛擬視點合成過程中，當(dāng)前紋理圖中的像素利用其對應(yīng)深度圖中的深度值計算得到視差矢量，然后利用該視差矢量對當(dāng)前紋理圖中像素進(jìn)行搬移以找到其在合成視點中的像素位置，當(dāng)紋理圖中所有像素搬移完后，虛擬視點合成完畢。對深度圖進(jìn)行有損編碼，會導(dǎo)致深度圖中像素值的失真，而深度圖像素值失真會直接導(dǎo)致由其計算得到的視差矢量失真，進(jìn)而導(dǎo)致對紋理圖中像素進(jìn)行搬移后在合成視點中的像素位置發(fā)生變化，使虛擬視點產(chǎn)生失真。但是，并非所有失真的深度圖像素會導(dǎo)致虛擬視點失真，如果找到這類深度圖像素并跳過其SVDC的計算過程，則能節(jié)省VSO的編碼時間，并且保證合成視點的質(zhì)量不發(fā)生變化。因此，如何找到這類深度圖像素是本文提出算法的核心問題。

為了找到這類深度圖像素，需要對紋理圖像素的搬移過程進(jìn)行分析，如圖2所示，其中點和點表示在原視點中的2個像素位置，實線箭頭表示由原始的未失真深度值計算得到的視差矢量，虛線箭頭表示由編碼后的失真深度值計算得到的視差矢量，點和點表示點和點在合成視點中正確的像素位置，點和點表示點和點在合成視點中失真的像素位置。從圖2中可以看出在原視點中像素處于一個紋理平坦的背景區(qū)域，即使其深度值發(fā)生失真，其在合成視點中的失真位置仍然與正確位置具有相似的紋理信息；而原視點中像素處于一個紋理并不平坦的區(qū)域，如果其深度值發(fā)生失真，那么得到的合成視點失真像素位置與的紋理信息會有較大差異，必然造成合成視點失真。由此可見，如果對應(yīng)的紋理圖中像素處于一個相對平坦的區(qū)域，即使深度值發(fā)生失真，也不會造成合成視點中的失真，因此跳過這類深度圖像素的SVDC過程不會造成合成視點質(zhì)量的下降。一般來說，紋理平坦的像素區(qū)域通常處于視頻中的背景區(qū)域或運(yùn)動緩慢的區(qū)域，在視頻內(nèi)容中所占比例相對較大，因此如果跳過這些像素區(qū)域的SVDC計算過程，可以節(jié)省較多的編碼時間。

基于此，本文提出一種快速算法，結(jié)合視點合成過程中深度圖像素與紋理圖及合成視點的紋理圖像素間關(guān)系，利用位于平坦紋理區(qū)域的失真深度值不會造成合成視點失真的原理，在編碼器使用ES模式之后，利用基于幀內(nèi)DC預(yù)測特性和統(tǒng)計學(xué)方法的紋理圖平坦度跳過符合上述條件的深度圖像素區(qū)域，來進(jìn)一步加速VSO的處理過程。首先對當(dāng)前深度圖編碼塊采用ES模式進(jìn)行加速，若塊中的某一行像素不滿足ES模式的跳過條件，則判斷其是否符合本文提出的基于紋理圖平坦度的像素跳過準(zhǔn)則規(guī)定的跳過條件，若符合則跳過該像素行中所有像素的SVDC計算過程，減少VSO的編碼時間。本文提出算法的流程如圖3所示，基于幀內(nèi)DC預(yù)測特性和統(tǒng)計學(xué)方法的紋理圖平坦度跳過準(zhǔn)則的原理及設(shè)置過程如下節(jié)所述。

3.2 基于紋理圖平滑度的閾值設(shè)計

本文提出算法能夠減少VSO編碼時間的前提條件，是需要找到位于對應(yīng)的平坦紋理區(qū)域的深度圖像素，因此本文提出算法的關(guān)鍵在于根據(jù)紋理圖已編碼信息分析紋理圖的平坦度，然后根據(jù)平坦度分析結(jié)果設(shè)定深度圖中像素的VSO跳過準(zhǔn)則，即圖3中虛線框中內(nèi)容。

3.2.1 紋理平坦像素值規(guī)律設(shè)定

一般來說，圖像的亮度值Y和色度值UV可以用來測量和判定紋理的平滑度。如果一個區(qū)域平滑，則該區(qū)域內(nèi)部的所有像素的亮度值和色度值應(yīng)當(dāng)具有規(guī)律性。在本文中使用的判定某一行像素區(qū)域為紋理平坦區(qū)域的像素值規(guī)律如式(4)所示。

其中，表示像素的亮度值，和表示相鄰像素序號，表示當(dāng)前像素行長度，表示反映紋理平坦規(guī)律的閾值。因此，本文通過判斷相鄰2個像素亮度值之差是否小于等于設(shè)定的跳過閾值來判定紋理是否平坦。

3.2.2 紋理平坦判定條件

HEVC采用多方向的幀內(nèi)預(yù)測技術(shù)來消除圖像的空間相關(guān)性，因此，幀內(nèi)預(yù)測能夠準(zhǔn)確地表征視頻圖像的紋理規(guī)律。在HEVC中，幀內(nèi)DC預(yù)測與H.264/AVC中的類似，使用當(dāng)前編碼單元(CU, coding unit)左邊和上邊2個方向上參考像素的均值來對當(dāng)前CU內(nèi)部所有像素進(jìn)行預(yù)測，因此幀內(nèi)DC預(yù)測模式非常適用于圖像的平坦區(qū)域編碼。因此如果某一CU采用幀內(nèi)DC模式作為其最優(yōu)編碼模式，則可以認(rèn)為該CU紋理平坦。基于此，本文在紋理圖編碼完成后，記錄使用幀內(nèi)DC模式作為最優(yōu)編碼模式的CU尺寸以及該CU內(nèi)部所有像素亮度值，然后計算該CU的像素亮度均值和亮度平均差值，如式(5)和式(6)所示。

(6)

基于式(5)和式(6)，本文選擇紋理分布和運(yùn)動幅度較為適中的Balloons序列作為訓(xùn)練序列，訓(xùn)練幀數(shù)為60幀，對于該序列中所有選擇幀內(nèi)DC模式作為最優(yōu)模式的CU計算值，然后統(tǒng)計出現(xiàn)次數(shù)最多的值和所有計算出的平均值，如表1所示。從統(tǒng)計結(jié)果可以看出，出現(xiàn)次數(shù)最多的值（1）和平均值（2）在3個視點和4個情況下的平均值分別為2.75和3.42。因此，在本文提出的基于紋理平坦度的跳過準(zhǔn)則中，跳過閾值基于表1的2個統(tǒng)計值結(jié)果，選取這2個的平均值進(jìn)行下取整作為最終的全局跳過閾值，如式(7)所示。

表1 AvgDiff值統(tǒng)計

為了證明本文提出的基于紋理平坦度的跳過閾值的準(zhǔn)確度，本文對所有測試序列中采用幀內(nèi)DC模式進(jìn)行編碼的各個尺寸CU進(jìn)行統(tǒng)計，并對本文提出的閾值與符合條件CU的像素亮度均差進(jìn)行比較并計算命中率，結(jié)果如表2所示。

表2 命中率統(tǒng)計

從表2可以看出，命中率的差距主要體現(xiàn)在同一序列內(nèi)部不同視點間的命中率差距以及不同序列間的命中率差距。1) 同一序列內(nèi)部不同視點間的命中率差距大，是因為本文統(tǒng)計幀內(nèi)DC模式編碼塊的像素亮度均差來設(shè)置閾值。然而幀內(nèi)DC模式在模式選擇過程中所占比例并不大，所以如果在某些視點方向上選擇幀內(nèi)DC模式的CU數(shù)量較少并且恰好這些CU的像素亮度均差不等于本文設(shè)置的跳過閾值，所以造成同一序列內(nèi)部某些視點的命中率較低。然而不同視點描述的是同一場景信息，如果某一視點方向命中率低，其余視點方向的命中率高，仍然可以表明選定的閾值有效。2) 不同序列間的命中率差距大，其原因是每個序列的紋理特性不同，所以每個序列幀內(nèi)DC塊的像素亮度均差結(jié)果不同。因此某些序列如Kendo序列其命中率不高。但是如果只選擇最小的均差作為最終閾值，在編碼平坦區(qū)域較多且?guī)瑑?nèi)DC塊亮度均差較大的序列時會造成跳過率不高、編碼時間的節(jié)省量小，編碼質(zhì)量卻并不能高于閾值稍高時的結(jié)果。因此在個別序列命中率并不高的情況下，閾值的選擇需要具有普適性，本文選取的閾值對個別序列的命中率稍低，但對于其余多數(shù)序列命中率高，仍然表明選定的閾值有效。

因此，采用本文提出的基于紋理平坦度的跳過閾值，可以獲得較好的命中率結(jié)果，同時該統(tǒng)計并非限定于某特定尺寸的CU，因此可以認(rèn)為本文提出的跳過閾值對各尺寸的CU較準(zhǔn)確地判定紋理平滑情況。

為了證明本文提出的基于紋理平坦度的跳過閾值的加速效果，本文對所有深度圖編碼塊內(nèi)部未采用ES模式跳過的像素行，使用上述的跳過閾值判定出紋理平滑的像素行，并對其所占百分比進(jìn)行了統(tǒng)計，統(tǒng)計結(jié)果如表3所示。從表3可以看出，利用本文提出的基于紋理圖平坦度的像素跳過準(zhǔn)則，可以判定出一半左右的紋理平坦像素行。

表3 紋理平坦像素行百分比統(tǒng)計

4 實驗結(jié)果

為驗證本文算法效率，將3D-HEVC參考模型HTM9.2[18]作為測試平臺。由于HTM中的ES算法與本文提出算法協(xié)同工作，且文獻(xiàn)[9]提出算法是改進(jìn)的ES算法，因此依照文獻(xiàn)[19]公布的3DV國際通用測試標(biāo)準(zhǔn)對HTM中無ES模式的原編碼算法 (ori)、文獻(xiàn)[9]方法、ES模式快速算法和本文提出的快速算法 (prop) 進(jìn)行測試和比較。測試序列為Balloons (1024×768)、Kendo (1024×768)、Newspaper (1024×768)、GTFly (1920×1088)、PoznanStreet (1920×1088)和UndoDancer (1920×1088)。每個測試序列均編碼3個視點和對應(yīng)的3個深度圖序列[19]，GOP長度設(shè)置為8，幀內(nèi)周期設(shè)置為24，虛擬視點步長設(shè)置為0.25，紋理圖量化參數(shù)設(shè)置為25、30、35、40，深度圖量化參數(shù)設(shè)置為34、39、42、45，測試序列Balloons、Kendo、Newspaper的測試幀數(shù)為300幀、幀率為30，測試序列GTFly、PoznanStreet、UndoDancer的測試幀數(shù)為250幀、幀率為25。所有實驗在配置為Intel(R) Xeon(R) E31230 3.2 GHz CPU，8 GB RAM的PC上獨立執(zhí)行。

表4 不同算法的深度圖編碼時間比較結(jié)果

4.1 算法復(fù)雜度分析

為評價提出算法的計算效率，本文統(tǒng)計了提出算法的像素行跳過率，并統(tǒng)計了分別采用無ES模式的HTM原編碼算法 (ori)、文獻(xiàn)[9]方法、ES模式快速算法 (ES) 和提出的快速算法 (prop) 對各測試序列進(jìn)行編碼后的深度圖編碼時間。其中，ori算法采用原始的逐像素虛擬視點合成過程生成虛擬視點以計算SVDC值的方法；文獻(xiàn)[9]方法采用ES模式以及判斷當(dāng)前像素左右相鄰像素梯度值是否相同來跳過SVDC計算過程；ES模式算法通過跳過編碼后深度值與編碼前深度值相同的像素行來加速SVDC計算過程；本文提出算法在ES模式基礎(chǔ)上，利用紋理平坦度設(shè)定閾值跳過平坦紋理的像素行來加速SVDC計算過程。各算法的深度圖編碼時間及時間比較結(jié)果如表4所示，各算法的像素行跳過率如表5所示。從表4給出的深度圖編碼時間比較結(jié)果可以看出，對于所有測試序列，本文提出方法的編碼時間平均占HTM原編碼時間的57.54%，占文獻(xiàn)[9]提出方法和ES模式算法編碼時間的67.97%和85.72%。文獻(xiàn)[9]提出的算法由于其判別條件嚴(yán)苛，符合跳過條件的像素行相比本文提出算法少，而又由于其判別條件中的閾值計算過程需要大量迭代過程導(dǎo)致編碼時間增加，因此本文提出的方法能夠比文獻(xiàn)[9]提出的算法獲得更好的編碼效率，編碼復(fù)雜度更低。本文提出算法是在ES模式的基礎(chǔ)上，針對非ES模式跳過行進(jìn)行進(jìn)一步的跳過優(yōu)化，因此相比ES模式算法能夠降低更多的編碼復(fù)雜度。從表5可以看出，使用本文提出算法對6個測試序列進(jìn)行編碼，其像素行跳過率的平均值為78.59%，而對于某些紋理平坦的序列如GTFly序列和Kendo序列，由于其平坦的紋理區(qū)域相比其余序列更多，使用本文提出的算法能夠檢測到更多的平坦區(qū)域，因此其平均像素行跳過率能超過80%。對所有測試序列來說，像素行跳過率隨著值的升高而增加，這是因為編碼器在計算SVDC時，虛擬視點合成過程使用的是重建紋理圖，而隨著值的升高編碼后的重建紋理圖會存在更多平滑的紋理區(qū)域，因此在高值情況下使用本文提出算法的像素行跳過率比低值情況下的高。ES模式快速算法的平均像素行跳過率為52.69%，文獻(xiàn)[9]的平均像素行跳過率僅比ES模式提高了不到1.2%，本文提出算法相比ES模式能提高26%的平均像素行跳過率。GTFly序列和Kendo序列相比其他序列所用的深度圖編碼時間更少，該結(jié)果也與表5所示的像素行跳過率結(jié)果相對應(yīng)。

表5 各算法的像素行跳過率

4.2 率失真性能分析

為驗證提出算法的率失真性能，本文利用Bjontegaard方法[20]來比較不同算法間的絕對比特率變化量。表6給出了不同算法與HTM中的原編碼算法的比較結(jié)果，其中“Base”、“Syn”和“All”分別表示原視點、合成視點以及兩者平均的絕對比特率變化百分比。

表6 Bjontegaard方法得到的率失真性能比較結(jié)果(BDBR)

從表6可以看出，與HTM的原始算法相比，本文提出算法的率失真性能雖然略低于文獻(xiàn)[9]提出的算法，但實際上合成視點的比特率僅上升0.6%，原視點和合成視點的平均比特率僅上升0.4%，基本與原編碼算法保持了相同的編碼性能。文獻(xiàn)[9]提出的跳過算法判別條件非常嚴(yán)格，能夠保證低誤差，因此率失真性能幾乎與原算法一致，但也如4.1節(jié)所述的由于其跳過的像素行較少且閾值計算過程復(fù)雜導(dǎo)致其深度圖編碼時間相比本文提出算法略高。本文提出的算法利用幀內(nèi)DC預(yù)測能檢測平坦紋理的特性，跳過更多紋理平滑的像素區(qū)域，因此能夠在加速編碼時間的同時保證編碼性能。所提算法針對GTFly序列能獲得最好的率失真性能，這是因為GTFly相比其他序列含有更多平坦的背景區(qū)域，因此利用本文提出的算法可以最大程度的發(fā)揮基于紋理平坦度閾值的優(yōu)勢。Newspaper序列和UndoDancer序列由于紋理特性更為復(fù)雜，使其率失真性能略低于其他序列。

5 結(jié)束語

本文旨在結(jié)合紋理圖的平坦特性加速深度圖編碼中的視點合成失真優(yōu)化過程，在保證視頻編碼質(zhì)量的同時降低深度圖編碼復(fù)雜度。針對深度圖編碼中費(fèi)時的視點合成失真優(yōu)化部分，通過利用幀內(nèi)DC預(yù)測的編碼塊紋理特性和統(tǒng)計學(xué)方法分析像素紋理平坦規(guī)律并設(shè)定基于紋理平坦度的跳過準(zhǔn)則，然后分離出符合該跳過準(zhǔn)則的深度圖像素區(qū)域并跳過該區(qū)域的視點合成失真優(yōu)化過程。實驗結(jié)果表明提出的基于紋理平坦度的快速算法能夠在保證3D視頻及合成視點編碼質(zhì)量的條件下，降低深度圖編碼時間。

[1] MULLER K, SCHWARZ H, MARPE D, et al. 3D high-efficiency video coding for multi-view video and depth data[J]. IEEE Transactions on Image Processing, 2013, 22(9): 3366-3378.

[2] ISO/IEC JTC 1/SC 29/WG 11 (MPEG). High efficiency video Coding[S]. ITU-T Rec H.265 and ISO/IEC 23008-2 (HEVC), ITU-T and ISO/IEC, 2013.

[3] SULLIVAN G J, OHM J, HAN W J, et al. Overview of the high efficiency video coding (HEVC) standard[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2012, 22(12): 1649-1668.

[4] CHEN Y, VETRO A. Next-generation 3D formats with depth map support[J]. MultiMedia IEEE, 2014, 21(2): 90-94.

[5] SMOLIC A, MULLER K, DIX K, et al. Intermediate view interpolation based on multiview video plus depth for advanced 3D video systems[C]//IEEE International Conference on Image Processing. San Diego, CA, c2008: 2448-2451.

[6] MERKLE P, MORVAN Y, SMOLIC A, et al. The effect of depth compression on multiview rendering quality[C]//3DTV Conference: The True Vision-Capture, Transmission and Display of 3D Video. Istanbul, c2008: 245-248.

[7] TECH G, SCHWARZ H, MULLER K, et al. 3D video coding using the synthesized view distortion change[C]//Picture Coding Symposium (PCS). Krakow, c2012: 25-28.

[8] OH B, LEE J, PARK D, et al. 3D-CE8. h results on view synthesis optimization by Samsung, HHI and LG-PKU[R]. ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11, 1st Meeting, JCT3V-A0093, Stockholm, Sweden, 2012.

[9] MA S, WANG S, GAO W. Low complexity adaptive view synthesis optimization in HEVC based 3D video coding[J]. IEEE Transactions on Multimedia, 2014, 16(1): 266-271.

[10] MA S, WANG S, GAO W. Zero-synthesis view difference aware view synthesis optimization for HEVC based 3D video compression[J]. Visual Communications & Image Processing, IEEE, 2012, 333(6):1-6.

[11] WANG S, MA S, LIU H, et al. CE8.h: results of simplification of view synthesis optimization by detection of zero distortion change in synthesized view[R]//1st JCT3V Meeting, ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 JCT2-A0083, Stockholm, SE, 2012.

[12] OH B T, LEE J, PARK D S. Depth map coding based on synthesized view distortion function[J]. IEEE Journal of Selected Topics in Signal Processing, 2011, 5(7): 1344-1352.

[13] OH B T, OH K J. View synthesis distortion estimation for avc-and hevc-compatible 3D video coding[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2014, 24(6): 1006-1015.

[14] ZHANG Q, TIAN L, HUANG L, et al. Rendering distortion estimation model for 3D high efficiency depth coding[J]. Mathematical Problems in Engineering, 2014,(1):1-7.

[15] LI C, JIN X, DAI Q. A novel distortion model for depth coding in 3D-HEVC[C]//IEEE International Conference on Image Processing. Paris, c2014: 3228-3232.

[16] LI C, JIN X, DAI Q. An efficient distortion model configuration for depth coding in 3D-HEVC[C]//IEEE Asia Pacific Conference on Circuits and Systems. Ishigaki, c2014: 9-12.

[17] TECH G, WEGNER K, CHEN Y, et al. Test Model 8 of 3D-HEVC and MV-HEVC[R]//8th JCT3V Meeting, ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11, JCT3V-H1003, Valencia, ES, 2014.

[18] FRANK B, DAVID F, KARSTEN S. HEVC 3D extension software [EB/OL].https://hevc.hhi.fraunhofer.de/svn/svn_3DVCSoftware/tags/HTM-9.2/.

[19] MULLER K, VETRO A. Common test conditions of 3DV core experiments[R]. JCT3V meeting, JCT3VG1100, San Jose, US, 2014.

[20] BJONTEGAARDA G. Calculation of average psnr differences between rd-curves[R]. ITU-Telecommunications Standardization Secto vceg-m33, 2001.

Fast view synthesis optimization algorithm based on texture smoothness

DOU Huan1, JIA Ke-bin1, CHEN Rui-lin2, XIAO Yun-zhi2, WU Qiang1

(1. Department of Electronic Information and Control Engineering, Beijing University of Technology, Beijing 100124, China; 2. Department of Electronic and Information Engineering, HongKong Polytechnic University, HongKong 999077, China)

A fast algorithm was proposed in order to reduce the view synthesis optimization (VSO) process in depth coding for 3D-HEVC based on texture map smoothness. With the coding information derived from texture video sequences, the pixel regularity of smooth texture region was analyzed to set the skip rule using the properties of intra DC prediction and statistical methods. Then the depth regions corresponding to the flat texture map regions could be extracted and the VSO process of pixels belonging to this type of depth regions could be skipped. Experimental results show the effectiveness of the proposed algorithm.

3D-HEVC, depth coding, view synthesis optimization, texture smoothness

TN919.81

A

10.11959/j.issn.1000-436x.2016057

2015-05-04；

2015-11-06

賈克斌，kebinj@bjnt.edu.cn

計算智能與智能系統(tǒng)北京市重點實驗室基金資助項目(No.002000546615004)；北京市自然科學(xué)基金及教委重點科技基金資助項目(No.KZ201310005004)

The Fund of Beijing Key Laboratory of Computational Intelligence and Intelligent System (No.002000546615004), Key Project of Beijing Municipal Education Commission(No.KZ201310005004)

竇環(huán)（1988-），女，江蘇儀征人，北京工業(yè)大學(xué)博士生，主要研究方向為多視點視頻編碼。

賈克斌（1961-），男，河南安陽人，北京工業(yè)大學(xué)教授、博士生導(dǎo)師，主要研究方向為多媒體信息處理。

陳銳霖（1971-），男，中國香港人，香港理工大學(xué)教授、博士生導(dǎo)師，主要研究方向為信息處理、視頻編碼。

蕭允治（1950-），男，中國香港人，香港理工大學(xué)教授、博士生導(dǎo)師，主要研究方向為圖像和視頻技術(shù)。

吳強(qiáng)（1972-），男，山西沁縣人，北京工業(yè)大學(xué)副教授、碩士生導(dǎo)師，主要研究方向為多媒體信息處理。