馬 然，史楠迪，李攀攀，沈禮權(quán)

(上海大學(xué) 通信與信息工程學(xué)院 新型顯示技術(shù)及應(yīng)用集成教育部重點(diǎn)實(shí)驗(yàn)室，上海 200072)

3D-HEVC幀間編碼的低復(fù)雜度算法

馬 然，史楠迪，李攀攀，沈禮權(quán)

(上海大學(xué) 通信與信息工程學(xué)院 新型顯示技術(shù)及應(yīng)用集成教育部重點(diǎn)實(shí)驗(yàn)室，上海 200072)

3D-HEVC將HEVC先進(jìn)的編碼工具充分應(yīng)用到3D視頻，隨之帶來的主要問題是編碼的高復(fù)雜度。針對(duì)3D-HEVC的幀間編碼提出了兩點(diǎn)改進(jìn)以降低其編碼復(fù)雜度。首先，根據(jù)相鄰幀相關(guān)性自適應(yīng)確定編碼單元的劃分深度，然后通過判斷編碼單元的運(yùn)動(dòng)活躍度來限定預(yù)測(cè)單元的類型選擇。提出的算法經(jīng)仿真實(shí)驗(yàn)證明，在保持碼率、PSNR基本不變的情況下，其編碼時(shí)間平均可減少30%。

3D-HEVC；幀間編碼；低復(fù)雜度；預(yù)測(cè)單元；劃分深度

隨著立體視頻成為當(dāng)下社會(huì)的研究熱點(diǎn)，多視點(diǎn)視頻加深度編碼(Multi-View Video Plus Depth Coding，MVD)已成為描述立體視頻場(chǎng)景最為有效的視頻格式，并被MPEG所采納。為了有效地消除多視點(diǎn)視頻的空間、時(shí)間冗余和視點(diǎn)間冗余，可以在采用分層B幀(Hierarchical B Pictures)編碼預(yù)測(cè)結(jié)構(gòu)的3D-HEVC編碼平臺(tái)HTM上實(shí)現(xiàn)MVD的編碼[1]?；贖EVC的MVD編碼技術(shù)引入了視差估計(jì)預(yù)測(cè)技術(shù)，在編碼效率提高的同時(shí)顯著增加了編碼計(jì)算復(fù)雜度。因此在多視點(diǎn)高清視頻進(jìn)入實(shí)際應(yīng)用系統(tǒng)之前，研究高壓縮效率和低復(fù)雜度的3D-HEVC編碼技術(shù)是必要的。

為了提高HEVC的編碼速度，國(guó)內(nèi)外學(xué)者已經(jīng)提出了一些HEVC快速算法。其中，對(duì)幀間編碼的快速算法主要包括基于SKIP模式提前終止編碼單元(Coding Unit，CU)劃分的算法、自適應(yīng)設(shè)置率失真代價(jià)(RDCost)閾值算法以及預(yù)測(cè)模式快速選擇算法等?；赟KIP模式提前終止CU劃分算法是在對(duì)當(dāng)前CU進(jìn)行深度劃分時(shí)，如果預(yù)測(cè)單元(Prediction Unit，PU)為SKIP模式，就提前終止CU劃分[2]。此類算法對(duì)于平坦或運(yùn)動(dòng)緩慢序列效果較好，平均可以提高50%的編碼速度，而對(duì)于紋理復(fù)雜或運(yùn)動(dòng)劇烈序列效果較差，平均僅能提高16%的編碼速度。自適應(yīng)設(shè)置RDCost閾值算法[3]是對(duì)每個(gè)劃分深度的CU設(shè)置不同的閾值，如果在當(dāng)前劃分深度下，最佳預(yù)測(cè)模式對(duì)應(yīng)的RDCost小于設(shè)置的閾值，則提前終止CU劃分。此類算法對(duì)于各種類型序列都能平均提高40%左右的編碼的速度，但是BD-rate卻上升2%左右，對(duì)編碼效率影響較大。Shen提出的預(yù)測(cè)模式選擇的優(yōu)化算法[4]是在遍歷劃分模式中，如果當(dāng)前模式使得RDCost小于參考CU的RDCost加權(quán)和則提前終止預(yù)測(cè)模式選擇。此類算法對(duì)于不同序列均可以提高50%的編碼速度，而且在不同序列上編碼效率略有差異。

在雙目視頻編碼中，文獻(xiàn)[5]分析紋理視頻在時(shí)間域和視點(diǎn)間的相關(guān)性，提出了一種深度宏塊的編碼跳過算法。針對(duì)跳過編碼的宏塊，算法通過相鄰視點(diǎn)間的深度圖預(yù)測(cè)設(shè)計(jì)了一個(gè)可以重建該宏塊的模型。試驗(yàn)結(jié)果證明該算法不僅能夠提高虛擬視點(diǎn)的繪制質(zhì)量，并且可以降低整體的編碼復(fù)雜度。但是它設(shè)計(jì)的模型依賴于雙目視頻格式，在多視點(diǎn)視頻格式中沒有較好的表現(xiàn)。文獻(xiàn)[6]首先利用多視點(diǎn)間的幾何信息和相應(yīng)的深度信息來獲取編碼視點(diǎn)的位置；然后將已獲取位置且已編碼的視點(diǎn)的編碼類型和運(yùn)動(dòng)信息用來限制當(dāng)前編碼幀的類型選擇，這種算法可以有效降低運(yùn)動(dòng)估計(jì)的計(jì)算復(fù)雜度。然而，它所提出的時(shí)空相關(guān)性的思想只限于視點(diǎn)級(jí)的應(yīng)用，沒有推廣到幀級(jí)和編碼單元級(jí)。此外，這些文獻(xiàn)中的MVD編碼算法都不是基于HTM編碼平臺(tái)的。換言之，上述的MVD編碼算法并不適用于HTM編碼平臺(tái)，同時(shí)也未充分發(fā)揮HEVC的先進(jìn)編碼技術(shù)。文獻(xiàn)[7]提出了3D-HEVC下的獨(dú)立視點(diǎn)紋理快速幀間預(yù)測(cè)算法，該算法分析了視點(diǎn)間相關(guān)性，并以此設(shè)計(jì)了一種劃分深度快速抉擇和Merge模式選擇機(jī)制，其算法的實(shí)現(xiàn)與Shen的快速深度遍歷選擇有相似之處。

本文延續(xù)了Shen的算法思路，將其擴(kuò)展到多視點(diǎn)加深度的編碼框架中，并加以改進(jìn)。在分析基于多尺寸CU的編碼復(fù)雜度的基礎(chǔ)上，從CU的深度劃分和PU類型選擇這兩個(gè)方面降低編碼的計(jì)算耗時(shí)。

本文的結(jié)構(gòu)安排如下：第1節(jié)分析HEVC中幀間編碼的復(fù)雜度及影響編碼復(fù)雜度的2個(gè)重要指標(biāo)：劃分深度和幀間PU類型選擇。在此基礎(chǔ)上，第2節(jié)提出了2個(gè)改進(jìn)——基于相鄰幀相關(guān)性的自適應(yīng)深度預(yù)測(cè)和基于運(yùn)動(dòng)活躍度的PU類型選擇，進(jìn)而實(shí)現(xiàn)旨在降低編碼復(fù)雜度的基于HTM的MVD編碼算法。第3節(jié)的實(shí)驗(yàn)驗(yàn)證了本文提出的2個(gè)改進(jìn)算法以及整體算法在保證PSNR基本不變的情況下，使得編碼復(fù)雜度得到一定程度的下降。第4節(jié)簡(jiǎn)要總結(jié)本文的研究。

1 HEVC中的幀間復(fù)雜度分析

有文獻(xiàn)表明，HEVC在引入先進(jìn)的編碼技術(shù)后，幀間編碼耗費(fèi)時(shí)間占據(jù)總體編碼時(shí)間的的60%以上[8]。因此，研究低復(fù)雜度的HEVC幀間編碼算法勢(shì)在必行。

1.1 HEVC的劃分深度和幀間PU類型

HEVC編碼器從最大編碼單元(Largest Coding Unit， LCU)開始劃分成若干個(gè)CU，直至劃分到最小編碼單元(Smallest Coding Unit， SCU)為止。其對(duì)應(yīng)的尺寸從64×64～8×8，劃分深度是[0，3]。CU作為編碼的基本單位，其功能類似于H.264中的宏塊，不同在于CU的最大尺寸不受限制。根據(jù)編碼的需要，CU可以遞歸地分割為4個(gè)相同尺寸的子CU。每個(gè)CU或子CU又可分成若干個(gè)PU[9]。

在HEVC編碼過程中，所有與預(yù)測(cè)相關(guān)的操作 (例如幀內(nèi)預(yù)測(cè)和幀間預(yù)測(cè)) 均是以PU為單位進(jìn)行；PU作為預(yù)測(cè)編碼的基本單元，它可以分割成8種類型(見圖1)，以適應(yīng)規(guī)則的或不規(guī)則的編碼區(qū)域特性。

圖1 PU的8種類型

1.2 HEVC幀間編碼過程分析

HEVC特殊的編碼塊結(jié)構(gòu)決定了其幀間編碼過程與H.264完全不同。HEVC幀間編碼以四叉樹的形式對(duì)編碼單元進(jìn)行遞歸編碼。每層深度的CU，都會(huì)對(duì)所有的PU類型進(jìn)行率失真代價(jià)的計(jì)算，并判斷深度劃分是否合適。在HTM-9.0中，1個(gè)LCU的完整幀間編碼過程主要由以下2個(gè)主要步驟組成[10]：

1)對(duì)于當(dāng)前的LCU，所有CU(編碼深度從0～3)都遍歷所有幀間和幀內(nèi)預(yù)測(cè)模式，得到其對(duì)應(yīng)的最優(yōu)PU類型和率失真代價(jià)。

2)求得4個(gè)編碼深度為3的CU的率失真代價(jià)之和，并與編碼深度為2的CU的率失真代價(jià)相比，取率失真代價(jià)小對(duì)應(yīng)的PU類型；接著，再將4個(gè)編碼深度為2的CU的率失真代價(jià)之和與編碼深度為1的CU的率失真代價(jià)相比，取率失真代價(jià)小對(duì)應(yīng)的PU類型。以此類推，直到確定編碼深度為0的CU的PU類型。

文獻(xiàn)[4]指出，當(dāng)編碼的劃分深度為3時(shí)，LCU進(jìn)行的率失真代價(jià)計(jì)算約為800次。所以可以從劃分深度和PU類型兩方面入手研究，對(duì)幀間預(yù)測(cè)進(jìn)行優(yōu)化。

1.3 3D-HEVC的實(shí)驗(yàn)數(shù)據(jù)分析

除了從HEVC的編碼結(jié)構(gòu)和編碼過程可以看到劃分深度和PU類型的選擇對(duì)幀間編碼的復(fù)雜度影響很大外，HTM原算法的實(shí)驗(yàn)數(shù)據(jù)也可證明該影響的嚴(yán)重性。這里，在HTM9.0上對(duì)MVD序列進(jìn)行實(shí)驗(yàn)(QP分別取25、30，每個(gè)視點(diǎn)編碼17幀)，統(tǒng)計(jì)了不同MVD序列CU最佳劃分深度的相關(guān)數(shù)據(jù)，見圖2和圖3。

圖2 CU實(shí)際劃分及最佳深度分布

圖3 時(shí)間復(fù)雜度測(cè)試結(jié)果

圖2a是Street序列第5幀的CU實(shí)際劃分情況。顯然，在紋理復(fù)雜區(qū)域和運(yùn)動(dòng)的邊緣區(qū)域，由于需要更精確的編碼，CU劃分深度較大。圖2b是Balloons和Street兩個(gè)MVD測(cè)試序列中紋理、深度視頻的CU劃分深度比例及平均劃分深度比例。平均劃分深度是編碼17幀紋理與深度的平均值。從圖2b可以看出，隨著CU劃分深度的增加，對(duì)應(yīng)劃分深度的CU所占比例呈負(fù)指數(shù)曲線的降低。遺憾的是，在實(shí)際的編碼器中，在編碼時(shí)始終按照[0，3]線性遞進(jìn)的定義劃分深度值來進(jìn)行計(jì)算、劃分子塊等工作，沒有自適應(yīng)地跳過一些不必要的PU類型和深度，增加了編碼復(fù)雜度。

圖3是實(shí)驗(yàn)測(cè)試得到的不同劃分深度的 CU 在 幀間編碼中的編碼時(shí)間比。其中，圖3a圖為Street序列測(cè)試結(jié)果，圖3b為Balloon序列測(cè)試結(jié)果。橫坐標(biāo)0、1、2、3分別代表各劃分深度。從圖3可以看到，各劃分深度CU對(duì)應(yīng)的編碼時(shí)間所占比大體相差不多。但與圖2b相對(duì)照，很明顯，劃分深度越小的CU所消耗的編碼時(shí)間越??；反之亦然。

不同編碼圖像的最佳CU劃分與其圖像內(nèi)容有很大的相關(guān)性。在HEVC中，對(duì)運(yùn)動(dòng)緩慢的、平坦的編碼區(qū)域往往采用大尺寸塊進(jìn)行編碼，以節(jié)省運(yùn)動(dòng)信息和預(yù)測(cè)模式的編碼比特傳輸；對(duì)運(yùn)動(dòng)劇烈的、復(fù)雜的圖像往往采用小尺寸塊進(jìn)行編碼，以提高視頻質(zhì)量。針對(duì)此特點(diǎn)，可根據(jù)當(dāng)前CU和參考CU的時(shí)空相關(guān)性，對(duì)LCU進(jìn)行分類。諸如8×8和16×16小尺寸塊的CU的遍歷過程在整個(gè)劃分過程中消耗著巨大的計(jì)算資源，對(duì)編碼性能的提升卻是很有限的貢獻(xiàn)。

在HEVC編碼模型中，CU的劃分深度一般固定在[0，3]之間。然而，根據(jù)以上分析，在平坦的區(qū)域，CU劃分深度一般在較小范圍變化；而在運(yùn)動(dòng)劇烈區(qū)或紋理復(fù)雜區(qū)則劃分深度一般較大。并且由上文所述的深度復(fù)雜度分布來看，一味地將所有深度遍歷之后再?zèng)Q定最佳劃分深度，浪費(fèi)了很多的編碼時(shí)間。所以，應(yīng)根據(jù)當(dāng)前編碼塊的運(yùn)動(dòng)特性自適應(yīng)的調(diào)整深度選取范圍。因此，基于不同編碼序列的圖像內(nèi)容，實(shí)現(xiàn)自適應(yīng)的最佳塊劃分預(yù)測(cè)的快速算法，可以有效減少塊劃分中不必要的編碼判決計(jì)算過程，降低塊劃分過程中的編碼復(fù)雜度。

2 低復(fù)雜度幀間編碼算法

根據(jù)上節(jié)的實(shí)驗(yàn)驗(yàn)證和分析，本文充分挖掘HEVC的編碼特性和MVD的編碼預(yù)測(cè)結(jié)構(gòu)，提出了一種旨在降低幀間編碼復(fù)雜度的快速算法。此算法關(guān)鍵方面在于：1)利用參考幀與當(dāng)前幀的相關(guān)性，預(yù)測(cè)當(dāng)前CU的劃分深度，跳過預(yù)測(cè)范圍外的深度判斷。2)利用定義的運(yùn)動(dòng)特征函數(shù)對(duì)CU進(jìn)行判定，并根據(jù)判定跳過一些不必要的PU類型。

2.1 基于相鄰幀相關(guān)性的自適應(yīng)深度劃分

同一視點(diǎn)中的CU之間存在時(shí)間、空間相關(guān)性，當(dāng)前CU的最佳劃分深度與參考CU的劃分深度相似或者相同。因此，可以利用時(shí)空相關(guān)性的特性把當(dāng)前CU的深度限制在一定的范圍內(nèi)，從而跳過一些不必要的計(jì)算。

除了時(shí)空相關(guān)性以外，多視點(diǎn)中的CU之間還存在視點(diǎn)間相關(guān)性，因此本文選用的參考CU不僅包含了當(dāng)前幀空間相鄰的CU，而且還包括了相同視點(diǎn)內(nèi)前一幀或相鄰視點(diǎn)同一時(shí)刻幀的相同位置的CU及其相鄰CU。圖4給出了參考CU的示意圖，其中參考幀既可以是相同視點(diǎn)內(nèi)前一幀，也可以是相鄰視點(diǎn)同一時(shí)刻幀，依據(jù)編碼標(biāo)準(zhǔn)的參考幀設(shè)置策略，選取參考幀列表中首選位置的參考幀。

圖4 參考CU的示意圖

在每個(gè)參考CU中，其內(nèi)部各子CU的最佳劃分深度值一般是不同的，因此首先根據(jù)式(1)求得各子CU的平均劃分深度作為該參考CU的深度

(1)

式中：Depthref(i)為第i個(gè)參考CU的劃分深度值；M為這個(gè)參考CU中4×4塊的個(gè)數(shù)；Depth(k)代表第k個(gè)4×4塊的深度值。

設(shè)定Depthcur表示當(dāng)前CU的最佳劃分深度，可根據(jù)式(2)由N個(gè)參考CU的深度值加權(quán)獲得

(2)

據(jù)實(shí)驗(yàn)統(tǒng)計(jì)，這里N取7，即圖4所示全部7個(gè)參考CU。ε(i)為不同參考CU對(duì)當(dāng)前CU的影響權(quán)重，且∑ε(i)=1。文獻(xiàn)[11]指出參考幀上相同位置的參考?jí)KCU與當(dāng)前CU存在很強(qiáng)的相似性，經(jīng)大量實(shí)驗(yàn)驗(yàn)證以及深度預(yù)測(cè)準(zhǔn)確率的反饋，本文將參考幀相同位置上的CU的ε(i)設(shè)置為0.4，其他參考CU均為0.1。

具體算法實(shí)現(xiàn)步驟如下：

1)在Z字形掃描過程中，根據(jù)式(1)計(jì)算每一個(gè)參考CU的深度值Depthref。

2)利用式(2)計(jì)算當(dāng)前CU最佳深度預(yù)測(cè)值Depthcur。

3)如果Depthcur在[0，0.7]之間，則表示當(dāng)前CU所處區(qū)域一般為平坦區(qū)，限定深度區(qū)間為[0，1]；如果當(dāng)前預(yù)測(cè)值在(0.7，2.8]之間，則表示當(dāng)前CU處于一般運(yùn)動(dòng)區(qū)或一般紋理區(qū)，深度劃分處于中間值，故限定區(qū)間為[1，3]；預(yù)測(cè)值大于2.8，表示當(dāng)前CU處于復(fù)雜紋理區(qū)，故限定區(qū)間為[2，3]。

本文在HTM9.0平臺(tái)上測(cè)試了4個(gè)序列Balloons，Street，Newspaper，Kendo。分別取不同量化步長(zhǎng)進(jìn)行實(shí)驗(yàn)，共編碼17幀。表1是Depthcur按照步驟3)劃分深度區(qū)間的正確率統(tǒng)計(jì)，可以看到其平均正確率在90%左右。

表1 深度范圍預(yù)測(cè)正確率統(tǒng)計(jì)

2.2 基于運(yùn)動(dòng)活躍度的PU類型選擇

文獻(xiàn)[12]的研究成果表明在編碼幀中大尺寸CU適合緩慢變化的平坦區(qū)域，而小尺寸CU適合包含快速運(yùn)動(dòng)物體的區(qū)域。由此可見當(dāng)前CU的最佳PU類型與運(yùn)動(dòng)程度有密切關(guān)系，所以以當(dāng)前CU的運(yùn)動(dòng)程度預(yù)測(cè)PU類型選擇范圍，減少模式遍歷的計(jì)算過程，降低編碼復(fù)雜度。

本文以運(yùn)動(dòng)活躍度[13]作為衡量當(dāng)前CU的最佳PU類型和它的運(yùn)動(dòng)程度關(guān)系的判定標(biāo)準(zhǔn)。并推廣至紋理與深度的聯(lián)合編碼框架中。運(yùn)動(dòng)活躍度是對(duì)編碼單元內(nèi)運(yùn)動(dòng)強(qiáng)弱的描述。本文在度量MVD中當(dāng)前CU的運(yùn)動(dòng)程度時(shí)，考慮了多個(gè)與當(dāng)前CU相關(guān)的參考?jí)K的情況。

接著，將來自這些參考CU的運(yùn)動(dòng)矢量以不同權(quán)重計(jì)算作為當(dāng)前CU的運(yùn)動(dòng)矢量長(zhǎng)度。與文獻(xiàn)[13]不同的是，由于本文選取與當(dāng)前CU相鄰的上方、左方、左上的3個(gè)參考CU和參考幀中對(duì)應(yīng)位置相同的參考CU(圖4中灰色框?qū)?yīng)的參考CU)的運(yùn)動(dòng)情況對(duì)當(dāng)前CU進(jìn)行準(zhǔn)確的預(yù)測(cè)，所以本文重新定義了運(yùn)動(dòng)活躍度L

L=0.3×l(MV1)+0.3×l(MV2)+

0.3×l(MV3)+0.1×(MV4)

(3)

式中：MVi為運(yùn)動(dòng)矢量；l(MVi)是運(yùn)動(dòng)矢量的模，由式(4)求得；而l(MVi)前的系數(shù)為經(jīng)驗(yàn)值，經(jīng)過實(shí)驗(yàn)驗(yàn)證得出選取上述系數(shù)時(shí)，預(yù)測(cè)效果較好。

(4)

式中：xi和yi是MVi的水平和垂直方向的值，i=1，2，3，4。

本文選擇上述相同的4個(gè)測(cè)試序列，分別取25、30、35、40不同量化步長(zhǎng)，對(duì)紋理視頻進(jìn)行測(cè)試，運(yùn)動(dòng)活躍度L與PU類型分布之間的關(guān)系參見表2。

表2 PU類型分布與運(yùn)動(dòng)活躍度關(guān)系表 %

由表2可以看出，L在[0，1) 和[1，2)兩個(gè)區(qū)間中，PU類型是“SKIP，Inter_2N×2N”的比例分別高達(dá)94%和89.02%；L在 [2，3)中PU的主要類型是“Inter_N×2N，2N×N”，在[3，∞)中則主要是“其他幀間或幀內(nèi)類型”的 PU。因此，在幀間編碼進(jìn)行到PU類型選擇時(shí)，可以預(yù)先將PU類型限制在小范圍內(nèi)，進(jìn)而降低編碼復(fù)雜度。當(dāng)L確定后，如果只選表2中對(duì)應(yīng)比例最大的PU類型，PU類型被限制在最小范圍內(nèi)，但也影響到了PU類型選擇的精準(zhǔn)性，因此，本文選擇表2中比例大于9%的PU類型。至此，本文根據(jù)L與PU類型的關(guān)系將當(dāng)前CU分為三種類型，參見表3。其中，[0，1)對(duì)應(yīng)的CU運(yùn)動(dòng)簡(jiǎn)單，定義為類1；[1，2)對(duì)應(yīng)的CU運(yùn)動(dòng)一般，定義為類2；[2， ∞)的時(shí)候則運(yùn)動(dòng)復(fù)雜，定義為類3。

表3 運(yùn)動(dòng)程度分類以及與其對(duì)應(yīng)的類型

在得到CU的運(yùn)動(dòng)活躍度之后，根據(jù)表3選擇與之對(duì)應(yīng)的適用類型，無須遍歷所有的模式，從而降低了編碼復(fù)雜度。

因此，基于運(yùn)動(dòng)活躍度的PU類型選擇算法的實(shí)現(xiàn)步驟如下：

1)判斷當(dāng)前CU是否屬于關(guān)鍵幀。如果是關(guān)鍵幀，依照平臺(tái)算法選取RDCost最小時(shí)的類型為最佳類型，繼續(xù)處理下一個(gè)CU，否則執(zhí)行2)。

2)根據(jù)式(3)求得當(dāng)前CU的運(yùn)動(dòng)活躍度L，并判定當(dāng)前CU的運(yùn)動(dòng)程度

3)根據(jù)表3選擇對(duì)應(yīng)的PU類型組，在這已縮小范圍的PU類型組中，選擇具有最小RDCost值的PU類型作為最佳PU類型。

2.3 整體算法

對(duì)于MVD這種特殊的視頻編碼結(jié)構(gòu)而言，描述同一時(shí)刻、同一場(chǎng)景的紋理圖與深度圖存在著極大的輪廓相似性[11]和運(yùn)動(dòng)相似性，反映到兩者的編碼信息(如PU類型、RDCost、運(yùn)動(dòng)矢量等)具有相關(guān)性。因此，本文將第2.1節(jié)和第2.2節(jié)提出的算法直接用于深度圖的幀間編碼中。

本文提出的整體算法如圖5所示。

圖5 整體算法流程圖

3 實(shí)驗(yàn)結(jié)果

為驗(yàn)證本文提出的算法的有效性，在參考軟件HTM9.0上以“紋理加深度聯(lián)合編碼”為框架進(jìn)行測(cè)試。表4給出了測(cè)試條件，硬件配置為i5-4570，4 Gbyte內(nèi)存。其中測(cè)試序列為MVD標(biāo)準(zhǔn)序列：Street,Newspaper,Balloons,Kendo。量化步長(zhǎng)從25變化到40，以測(cè)試算法在不同序列不同量化步長(zhǎng)下的表現(xiàn)。

表4 測(cè)試條件

表5～表8給出了本文提出的算法時(shí)間復(fù)雜度的結(jié)果，其中“復(fù)雜度降低”列是指與HTM原算法相比，各算法的時(shí)間復(fù)雜度的降低比例。與原算法相比，第2.1節(jié)提出的自適應(yīng)深度劃分算法、第2.2節(jié)提出的PU類型選擇算法以及整體算法無論是在高比特率(QP為25，30)還是在低比特率(QP為35，40)情況下，均能表現(xiàn)出較好的效果。并且整體算法可以降低平均30%的編碼時(shí)間。

表5 QP=25時(shí)，快速算法測(cè)試結(jié)果

表6 QP=30時(shí)，快速算法測(cè)試結(jié)果

表7 QP=35時(shí)，快速算法測(cè)試結(jié)果

表8 QP=40時(shí)，快速算法測(cè)試結(jié)果

通過實(shí)驗(yàn)數(shù)據(jù)可發(fā)現(xiàn)，計(jì)算復(fù)雜度的降低幅度會(huì)隨著QP的增大而增大。這是因?yàn)樵诟逹P下大塊劃分和最佳PU類型為Inter 2N×2N的概率會(huì)增大，而本文算法的自適應(yīng)深度劃分算法跳過不必要深度的幾率也隨之增大；并且基于運(yùn)動(dòng)程度選擇PU類型，在運(yùn)動(dòng)簡(jiǎn)單或一般區(qū)域?qū)nter_2N×2N設(shè)為必須遍歷的PU類型。因此在高QP下，本文算法降低計(jì)算復(fù)雜度的效果更為明顯。

本文除了與HTM9.0原算法進(jìn)行比較之外，還選擇了將Shen提出的算法[4]在HTM上擴(kuò)展進(jìn)行對(duì)比，其結(jié)果如表9所示?！癇D-rate”列是與HTM原算法相比，在相同PSNR、QP分別取25,30,35,40的條件下所增加的平均比特率。由于快速算法跳過了一些劃分深度和預(yù)測(cè)模式，可能存在預(yù)測(cè)編碼中不能選取最佳預(yù)測(cè)類型而只能以次佳類型代之的情況，因此Shen的算法和本文的算法較之HTM原算法在比特率上稍有提高，但本文算法的比特率增加量較少。從“復(fù)雜度降低”列來看，與HTM原算法相比，Shen的算法和本文的算法的計(jì)算復(fù)雜度都有很大的降低，但Shen的算法效果更為明顯。這實(shí)際上是在BD-rate和時(shí)間復(fù)雜度之間的矛盾所引起的?？傮w來看，本文算法對(duì)編碼效率的影響較小，而編碼復(fù)雜度亦可降低30%。

表9 兩種方案的性能

圖6給出了在Street,Newspaper,Balloons,Kendo 4個(gè)序列上3種方案的率失真性能比較曲線?？梢钥闯觯诓煌蛄邢?，本文算法均能表現(xiàn)出與軟件平臺(tái)相近的編碼效果。

4 結(jié)論

在基于HTM的編碼平臺(tái)上，MVD結(jié)構(gòu)通過對(duì)所有編碼單元的類型遍歷之后，才能獲得最佳的類型及尺寸。這種技術(shù)同樣也帶來了非常高的計(jì)算復(fù)雜度，特別是幀間編碼占用了較大的編碼時(shí)間。為了降低計(jì)算復(fù)雜度并保證編碼效率的穩(wěn)定性，本文結(jié)合HEVC的編碼特點(diǎn)，提出了一種有效的低復(fù)雜度編碼算法，一方面根據(jù)幀間相關(guān)性預(yù)測(cè)當(dāng)前CU的劃分深度，另一方面利用運(yùn)動(dòng)分類方法對(duì)選擇適當(dāng)?shù)膭澐诸愋?，?shí)

圖6 本文提出的算法與HTM原算法的RD曲線對(duì)比圖

驗(yàn)結(jié)果顯示該算法適用于多視點(diǎn)視頻加深度的編碼平臺(tái)。然而，必須指出的是，本文著重在對(duì)MVD中紋理視頻編碼的研究，并依據(jù)紋理和深度的相關(guān)性，將紋理視頻的編碼成果直接用于深度編碼中，沒有過多的考慮到深度序列的特性，在未來的研究中擬分析深度視頻較為平滑的特點(diǎn)，有針對(duì)性地提出適用于深度序列的快速算法。

[1] NOOR N，KARIM H A，ARIF N A M，et al. Multiview plus depth video using high efficiency video coding method[C]//Proc. IEEE International Conference on Signal and Image Processing Applications(ICSIPA 2013). [S.l.]：IEEE Press，2013：209-213.

[2] CHOI K，PARK S H，JANG E S. Coding tree pruning based CU early termination[C]//Proc. Joint Collaborative Team on Video Coding.[S.l.]：JCT-VC，2011：14-22.

[3] CASSA M B，NACCARI M，PEREIRA F. Fast rate distortion optimization for the emerging HEVC standard[C]//Proc. Picture Coding Symposium (PCS). [S.l.]：IEEE Press，2012： 493-496.

[4] SHEN L，LIU Z，ZHANG X， et al. An effective CU size decision method for HEVC encoders[J]. IEEE Trans. Multimedia,2013，15(2)：465-470.

[5] LEE J Y，HO-CHEON W，DU-SIK P. A fast and efficient multi-view depth image coding method based on temporal and inter-view correlations of texture images[J]. IEEE Trans. Circuits and Systems for Video Technology，2011，21(12)：1859-1868.

[6] MICALLEF B W，DEBONO C J，F(xiàn)ARRUGIA R A. Fast inter-mode decision in multi-view video plus depth coding[C]//Proc. Picture Coding Symposium (PCS). [S.l.]：IEEE Press，2012：113-116.

[7] ZHANG N，ZHAO D，CHEN Y W，et al. Fast encoder decision for texture coding in 3D-HEVC[J]. Signal Processing：Image Communication，2014， 29(9)： 951-961.

[8] 沈曉琳. HEVC低復(fù)雜度編碼優(yōu)化算法研究[D].杭州：浙江大學(xué)， 2013.

[9] SULLIVAN G J，OHM J，WOO-JIN H，et al. Overview of the high efficiency video coding (HEVC) standard[J]. IEEE Trans. Circuits and Systems for Video Technology，2012，22(12)：1649-1668.

[10] HEVC測(cè)試模型[EB/OL].[2014-12-06].https：//hevc.hhi.fraunhofer.de/svn/svn_HEVCSoftware/tags/HM-9.0.

[11] SEO J，PARK D，WEY H C，et al. Motion information sharing mode for depth video coding[C]//Proc. 3DTV-Conference：The True Vision-Capture，Transmission and Display of 3D Video.[S.l.]：IEEE Press，2010：1-4.

[12] ZHANG Q，LI N，WU Q. Fast mode decision for 3D-HEVC depth intra-coding[J]. The Scientific World Journal，2014，50(14)：994-996.

[13] ZENG H，CAI C，MA K K. Fast mode decision for H. 264/AVC based on macroblock motion activity[J]. IEEE Trans. Circuits and Systems for Video Technology，2009，19(4)：491-499.

史楠迪(1990— )，碩士生，主研圖像與視頻信號(hào)處理；

沈禮權(quán)(1978— )，博士，副研究員，主要研究方向?yàn)閳D像與視頻信號(hào)處理。

責(zé)任編輯：時(shí) 雯

Low Complexity Inter-frame Coding of Multi-view Plus Depth Video Coding

MA Ran，SHI Nandi，LI Panpan，SHEN Liquan

(SchoolofCommunicationandInformationEngineering，KeyLaboratoryofAdvancedDisplayandSystemApplicationoftheMinistryofEducation，ShanghaiUniversity，Shanghai200072，China)

3D-HEVC makes full use of HEVC’s advanced coding tools to 3D video， which causes high coding complexity. So， two improvements are proposed for inter-frame coding of 3D-HEVC， to reduce coding complexity in this paper. First， the bit-depth of coding unit is judged adaptively based on the correlation of adjacent frames. Then， the types of prediction unit are limited by estimating the motion activity of current coding unit. Experimental results show that the proposed algorithm can reduce about 30% of encoding time as compared to HTM， while it maintains the similar PSNR and bit-rate.

3D-HEVC；inter frame coding；low complexity；prediction unit；bit-depth

【本文獻(xiàn)信息】馬然，史楠迪，李攀攀，等.3D-HEVC幀間編碼的低復(fù)雜度算法[J].電視技術(shù),2015，39(13).

國(guó)家自然科學(xué)基金項(xiàng)目(61301112)

TN919.8

A

10.16280/j.videoe.2015.13.002

馬 然(1974— )，女，博士，副教授，主要研究方向?yàn)閳D像與視頻信號(hào)處理；

2015-01-15