金智鵬，代紹慶，王利華

(1.嘉興職業(yè)技術(shù)學(xué)院　信息技術(shù)分院，浙江 嘉興 314036；2.浙江(嘉興)微軟技術(shù)研究中心，浙江 嘉興 314000)

?

基于運(yùn)動(dòng)特征的HEVC幀間模式快速判決算法

金智鵬1，代紹慶1，王利華2

(1.嘉興職業(yè)技術(shù)學(xué)院信息技術(shù)分院，浙江 嘉興 314036；2.浙江(嘉興)微軟技術(shù)研究中心，浙江 嘉興 314000)

摘要:為降低HEVC幀間預(yù)測(cè)編碼過程的計(jì)算復(fù)雜度，提出了一種新的基于運(yùn)動(dòng)特征的編碼單元(CodingUnits，CU)及預(yù)測(cè)單元(PredictionUnits，PU)快速判決算法。首先，通過二階幀差法檢測(cè)運(yùn)動(dòng)劇烈程度，并分析運(yùn)動(dòng)特征對(duì)CU及PU時(shí)域相關(guān)性的影響。然后，利用前幀相同位置CU及PU的最優(yōu)模式預(yù)測(cè)當(dāng)前CU的深度范圍，并根據(jù)運(yùn)動(dòng)劇烈程度優(yōu)化預(yù)測(cè)范圍。最后，根據(jù)預(yù)測(cè)范圍跳過和終止部分不必要的CU深度和PU模式，從而加快幀間編碼速度。在HM12.0平臺(tái)上的實(shí)驗(yàn)測(cè)試表明，該算法在BDPSNR僅降低0.068dB、BDBR只增加1.530%的情況下，提高了48.389%的編碼速度。

關(guān)鍵詞:HEVC；幀間預(yù)測(cè)；編碼單元(CU)；預(yù)測(cè)單元(PU)；前幀相同位置；CU深度范圍

新一代高性能視頻編碼國(guó)際標(biāo)準(zhǔn)(HighEfficiencyVideoCoding，HEVC)主要面向高清晰度、高幀率、高壓縮率的應(yīng)用需求[1]。相比H.264，HEVC采用了四叉樹結(jié)構(gòu)的編碼單元(CodingUnits，CU)、預(yù)測(cè)單元(PredictionUnits，PU)和變換單元(TransformUnits，TU)等眾多新技術(shù)[2]，將壓縮效率提高了一倍。

HEVC將每幀圖像按最大編碼單元(LargestCodingUnits，LCU)進(jìn)行劃分，每個(gè)LCU又可分為一個(gè)或多個(gè)不同深度(depth)的CU，包括64×64(depth=0)、32×32(depth=1)、16×16(depth=2)、8×8(depth=3)等4種CU模式。每一深度的CU又可按2N×2N、2N×N、N×2N、N×N、2N×nU、2N×nD、nL×2N、nR×2N等8種PU模式進(jìn)行預(yù)測(cè)編碼[3]。在編碼過程中，HEVC采用遍歷方式比較上述各種CU及其PU模式的率失真代價(jià)，并根據(jù)率失真代價(jià)確定LCU的最優(yōu)四叉樹結(jié)構(gòu)以及各深度CU的最優(yōu)PU預(yù)測(cè)模式，這使得編碼器的計(jì)算量非常巨大。

為了降低編碼復(fù)雜度，HEVC采納了早期編碼單元設(shè)置(EarlyCodingUnit，ECU)[4]、快速合并模式(FastDecisionforMerge，F(xiàn)DM)[5]、編碼標(biāo)志快速終止(CodedBlockFlag，CBF)[6]、自適應(yīng)CU深度遍歷(AdaptiveCUDepthRange，ACUDR)[7]等一些快速編碼算法，以減少編碼時(shí)間。

為進(jìn)一步提高HEVC的編碼速度，Kim等人[8]通過分析運(yùn)動(dòng)矢量差和CBF，提前檢測(cè)當(dāng)前PU是否滿足Skip模式，并終止后續(xù)PU預(yù)測(cè)模式的遍歷計(jì)算。Lee等人[9]等利用時(shí)域相關(guān)性來預(yù)測(cè)當(dāng)前CU的深度范圍，跳過部分可能性較低的CU模式。Shen等人[10]利用時(shí)空相關(guān)性以及CU層間相關(guān)性來預(yù)測(cè)當(dāng)前CU的深度范圍，并通過檢查運(yùn)動(dòng)矢量和率失真代價(jià)，提前終止PU模式的計(jì)算，以降低編碼復(fù)雜度。

近來，蔣等人[11]提出了一種基于貝葉斯決策的CU快速判決算法，通過相鄰LCU的四叉樹結(jié)構(gòu)來預(yù)測(cè)當(dāng)前LCU的深度范圍，并依據(jù)率失真代價(jià)和閾值的比較進(jìn)行CU提前終止判決。晏等人[12]提出了一種CU分級(jí)判決快速算法，采用自適應(yīng)權(quán)值量化分析時(shí)空相鄰CU之間的相關(guān)性，并預(yù)測(cè)當(dāng)前CU的深度范圍，跳過和提前終止不必要的深度計(jì)算。

上述快速算法在很大程度上減少了CU遍歷范圍，但若能結(jié)合CU運(yùn)動(dòng)特征分類進(jìn)行CU深度預(yù)測(cè)，可進(jìn)一步提高編碼速度。本研究將基于CU的運(yùn)動(dòng)特征，分類進(jìn)行CU及PU模式的快速判決，加快HEVC幀間編碼速度。

1HEVC幀間模式快速判決算法

1.1CU運(yùn)動(dòng)特征檢測(cè)

在幀間編碼過程中，背景和紋理平滑區(qū)往往采用大尺寸CU進(jìn)行編碼，以降低編碼碼率；運(yùn)動(dòng)劇烈區(qū)域往往采用小尺寸CU進(jìn)行編碼，以提高編碼質(zhì)量。因此，預(yù)判CU的運(yùn)動(dòng)特征是提高編碼速度的關(guān)鍵。

幀間差分法是比較常用且有效的運(yùn)動(dòng)對(duì)象檢測(cè)法[13]，即利用前后兩幀相同位置處像素的亮度絕對(duì)差來衡量運(yùn)動(dòng)變化程度。本文采用LCU中4個(gè)32×32子CU的二階亮度絕對(duì)差來檢測(cè)運(yùn)動(dòng)對(duì)象并衡量其運(yùn)動(dòng)幅度。32×32子CU的一階幀差(FirstDifferenceofCU，F(xiàn)D)計(jì)算如下

(1)

式中：FD(cur)表示當(dāng)前32×32子CU的一階幀差；fcur(x,y)表示當(dāng)前32×32子CU的亮度像素值；gcol(x,y)表示前一幀相同位置處32×32子CU的亮度像素值。

但是由于攝像機(jī)抖動(dòng)、鏡頭運(yùn)動(dòng)、光照等影響，一階幀差的運(yùn)動(dòng)對(duì)象檢測(cè)效果并不理想。鑒于由攝像機(jī)抖動(dòng)所產(chǎn)生的幀間差是持續(xù)的、大小相近的，因此本文通過計(jì)算二階幀差，濾除由攝像機(jī)抖動(dòng)等因素所帶來的擾動(dòng)和噪聲。32×32子CU的二階幀差(Second Order Difference of CU，SOD)的定義如下

(2)

式中：SOD(cur)表示當(dāng)前32×32子CU的二階幀差；FD(col)表示前一幀相同位置處子CU的一階幀差。

基于上述分析，本文根據(jù)二階幀差SOD來衡量CU的運(yùn)動(dòng)特征，并將當(dāng)前CU分為3種類型：背景平滑區(qū)、運(yùn)動(dòng)平緩區(qū)和運(yùn)動(dòng)劇烈區(qū)。具體分類如下

(3)

根據(jù)編碼經(jīng)驗(yàn)，設(shè)置T1=128，T2=3×T1，能取得較佳的編碼效果。

1.2運(yùn)動(dòng)特征對(duì)CU及PU時(shí)域相關(guān)性的影響

為了掌握相鄰兩幀之間CU及PU最優(yōu)模式的相關(guān)性概率，分析CU運(yùn)動(dòng)特征對(duì)CU及PU模式劃分的影響，本文采用ClassA～E的15個(gè)不同分辨率和運(yùn)動(dòng)特性的視頻序列進(jìn)行編碼統(tǒng)計(jì)。測(cè)試平臺(tái)為HEVC參考軟件HM12.0[14]，統(tǒng)計(jì)結(jié)果如圖1和表1所示。

表1中，PCU表示相鄰兩幀相同位置CU其模式相同的概率，即CU模式相同的面積/圖像總面積；PPU表示相同位置PU模式相同的概率。據(jù)表1的數(shù)據(jù)統(tǒng)計(jì)可知，運(yùn)動(dòng)劇烈區(qū)，其相鄰兩幀之間的PCU平均僅為50.4%；說明其時(shí)域相關(guān)性較弱，前幀相同位置的最優(yōu)CU模式不具有參考意義。而對(duì)于背景平滑區(qū)，其相鄰兩幀之間的CU及PU模式有著高度的相似性，其PCU平均為82.6%，其PPU平均達(dá)89.2%，分別比運(yùn)動(dòng)劇烈區(qū)高出32.2%和27.7%。因此，對(duì)于背景平滑區(qū)，可以使用前幀相同位置的最優(yōu)CU及PU模式來預(yù)測(cè)當(dāng)前CU及PU的模式范圍；其預(yù)測(cè)準(zhǔn)確性高，且對(duì)不同類型的序列都比較穩(wěn)定。

表1相鄰兩幀之間CU及PU最優(yōu)模式的相關(guān)性概率 %

從圖1可見，各種PU預(yù)測(cè)模式中，2N×2N模式的使用概率高達(dá)84.6%，遠(yuǎn)高于其他預(yù)測(cè)模式的使用率。結(jié)合表1的統(tǒng)計(jì)數(shù)據(jù)，若當(dāng)前CU被判為背景平滑區(qū)，則當(dāng)前CU的PU模式更有可能為前幀對(duì)應(yīng)位置的最優(yōu)PU模式和2N×2N模式；因此，根據(jù)一定的判斷條件跳過其他冗余PU模式是合理的。

1.3CU劃分模式快速判決

步驟1)第1個(gè)P幀圖像，根據(jù)LCU的一階幀差結(jié)果進(jìn)行運(yùn)動(dòng)區(qū)和背景區(qū)的判斷。如果當(dāng)前LCU的一階幀差FD>1 920，則判為運(yùn)動(dòng)區(qū)；否則判為背景區(qū)。對(duì)運(yùn)動(dòng)區(qū)遍歷計(jì)算深度depth=1～3的CU模式，并根據(jù)率失真代價(jià)選擇最優(yōu)的CU四叉樹結(jié)構(gòu)；對(duì)背景區(qū)，則直接確定depth=0為最佳CU模式。

步驟2)后續(xù)P幀圖像，先進(jìn)行二階幀差計(jì)算，判斷當(dāng)前CU的運(yùn)動(dòng)特征，并根據(jù)CU特征選取相應(yīng)的編碼策略。如果當(dāng)前LCU中某個(gè)32×32子CU的二階幀差SOD>T2，則判定當(dāng)前LCU處于運(yùn)動(dòng)區(qū)，轉(zhuǎn)入步驟3)；否則，判定當(dāng)前LCU處于背景區(qū)，轉(zhuǎn)入步驟4)。

步驟3)運(yùn)動(dòng)區(qū)。如果當(dāng)前32×32子CU的二階幀差SOD>T2，屬于運(yùn)動(dòng)劇烈區(qū)，則設(shè)置當(dāng)前CU的深度遍歷范圍為depth=1～3。非運(yùn)動(dòng)劇烈區(qū)，首先獲取前幀相同位置處CU的最小深度MinDepth和最大深度MaxDepth，作為當(dāng)前CU劃分的預(yù)測(cè)范圍。然后進(jìn)一步優(yōu)化，如果當(dāng)前32×32子CU的二階幀差SOD>T1，屬于運(yùn)動(dòng)平緩區(qū)，則修正CU預(yù)測(cè)范圍MinDepth--、MaxDepth++。轉(zhuǎn)入步驟5)。

步驟4)背景區(qū)。首先獲取前幀相同位置處CU的最小深度MinDepth和最大深度MaxDepth，作為當(dāng)前CU的預(yù)測(cè)范圍。進(jìn)一步優(yōu)化，如果當(dāng)前32×32子CU的二階幀差SOD>T1，屬于運(yùn)動(dòng)平緩區(qū)，則MaxDepth++；如果當(dāng)前32×32子CU的二階幀差SOD≤T1，屬于背景平滑區(qū)，則MinDepth--。

步驟5)跳過和終止不必要的CU深度，進(jìn)行編碼計(jì)算。根據(jù)對(duì)當(dāng)前CU的預(yù)測(cè)范圍，跳過深度depth

步驟6)對(duì)LCU中的每個(gè)子CU，遞歸進(jìn)行步驟2)～5)的判決過程。

1.4 PU預(yù)測(cè)模式快速判決算法

步驟1)第1個(gè)P幀圖像，采用PU預(yù)測(cè)模式全遍歷計(jì)算，根據(jù)率失真代價(jià)選擇最優(yōu)的PU預(yù)測(cè)模式。

步驟2)后續(xù)P幀圖像，依據(jù)二階幀差計(jì)算結(jié)果，分運(yùn)動(dòng)區(qū)、平緩區(qū)、背景區(qū)等3種情況設(shè)置PU模式候選范圍。

步驟3)運(yùn)動(dòng)區(qū)，采用所有PU預(yù)測(cè)模式全遍歷計(jì)算。

步驟4)平緩區(qū)，采用2N×2N、2N×N、N×2N、和前幀對(duì)應(yīng)位置的最優(yōu)PU模式組成候選集。

步驟5)背景區(qū)，采用2N×2N、前幀對(duì)應(yīng)位置的最優(yōu)PU模式組成候選集。

步驟6)根據(jù)PU模式候選集，計(jì)算最優(yōu)PU模式。如果在2N×2N模式下，殘差經(jīng)量化后的所有系數(shù)為0，且運(yùn)動(dòng)矢量差值也為0，則認(rèn)定2N×2N模式為當(dāng)前CU的最優(yōu)PU模式，提前終止PU模式候選集的計(jì)算。

本文算法CU及PU模式判決過程如圖2所示。

2實(shí)驗(yàn)結(jié)果及數(shù)據(jù)分析

為測(cè)試與分析快速算法的性能，在HM12.0軟件平臺(tái)上按通用測(cè)試條件[15]進(jìn)行測(cè)試分析。編碼器采用低復(fù)雜度配置、低延時(shí)編碼方案，具體測(cè)試參數(shù)為：

IPPP，MaxPartitionDepth=4，MotionSearchRange=64；采用快速合并模式判決算法(FastDecisionforMerge，F(xiàn)DM)、快速運(yùn)動(dòng)估計(jì)搜索算法(EnhancedPredictiveZonalSearch，EPZS)和運(yùn)動(dòng)搜索加速算法(FastEncoderDecision，F(xiàn)EN)；編碼QP設(shè)置為22、27、32和37。

算法性能采用BDBR和BDPSNR[16]指標(biāo)進(jìn)行評(píng)價(jià)，分別表示同樣PSNR下碼率的損失和相同碼率下PSNR的損失情況。采用平均節(jié)省時(shí)間(AverageSavingTime，AST)表示編碼復(fù)雜度，其定義如下

(4)

式中：AST表示本文算法相比HM12.0節(jié)省的編碼時(shí)間；Timeproposed和TimeHM12.0分別表示本文算法和HM12.0的總體編碼時(shí)間。

由表2可見，與HM12.0編碼器相比，本文算法的BDBR平均增加1.530%，BDPSNR平均損失0.068dB，編碼時(shí)間AST平均節(jié)省48.389%。這一結(jié)果說明，本文提出的HEVC幀間模式快速判決算法具有良好的率失真性能，能大幅降低編碼時(shí)間。特別是對(duì)于背景靜止、運(yùn)動(dòng)復(fù)雜度較低的序列，本文算法可以跳過大量不必要的CU深度和PU模式計(jì)算，加速效果尤為顯著。

表2本文快速算法測(cè)試結(jié)果與HM12.0的比較

圖3和圖4分別為HM12.0和本文快速算法對(duì)“BasketballPass”(416×240)序列進(jìn)行編碼的最優(yōu)CU劃分示意圖。根據(jù)圖3和圖4的對(duì)比可見，僅有5處地方CU劃分結(jié)構(gòu)不同，且CU劃分深度差都僅為1(如圖4中圓圈標(biāo)識(shí)的區(qū)域)。這說明本文快速算法的CU劃分準(zhǔn)確性較高。

為進(jìn)一步評(píng)估本文快速算法的性能，筆者將文獻(xiàn)[11]中編碼單元裁剪與快速選擇算法、文獻(xiàn)[12]中時(shí)空相關(guān)的CU分級(jí)判決算法和本文基于運(yùn)動(dòng)特征的快速算法進(jìn)行比較。從表3各種快速算法的率失真和編碼時(shí)間對(duì)比數(shù)據(jù)可知，與文獻(xiàn)[11]提出的算法相比，本文算法的BDBR降低0.65%，編碼時(shí)間能多節(jié)省6%；與文獻(xiàn)[12]提出的算法相比，本文算法的編碼時(shí)間能節(jié)省3%，BDPSNR提高0.02dB，BDBR降低0.98%。因此，本文快速算法的綜合性能要優(yōu)于這兩種快速算法。其主要原因是本文算法通過二階幀差法提取運(yùn)動(dòng)對(duì)象，提高了對(duì)不同運(yùn)動(dòng)特征的CU及PU的預(yù)測(cè)針對(duì)性和準(zhǔn)確性，特別是有效減少了背景平滑區(qū)的CU及PU遍歷范圍。

3小結(jié)

根據(jù)運(yùn)動(dòng)特征對(duì)CU及PU時(shí)域相關(guān)性的影響分析，本文提出了一種新的基于運(yùn)動(dòng)特征的CU及PU模式快速判決算法。該算法首先采用二階幀差法提取運(yùn)動(dòng)對(duì)象并判定運(yùn)動(dòng)劇烈程度，然后根據(jù)運(yùn)動(dòng)特征采用不同的編碼策略。對(duì)運(yùn)動(dòng)劇烈區(qū)，仍以大范圍遍歷計(jì)算為主；對(duì)背景平滑區(qū)，則主要以前幀相同位置CU及PU的最優(yōu)模式來預(yù)測(cè)當(dāng)前CU的深度范圍，從而有效減少了CU及PU的遍歷范圍。實(shí)驗(yàn)結(jié)果顯示，本文算法提高了48.389%的編碼速度，能促進(jìn)HEVC面向高清視頻監(jiān)控、視頻會(huì)議以及低復(fù)雜度實(shí)時(shí)編碼等領(lǐng)域的應(yīng)用。

參考文獻(xiàn)：

[1]沈燕飛，李錦濤，朱珍民，等. 高效視頻編碼[J]. 計(jì)算機(jī)學(xué)報(bào)，2013，36(11)：2340-2355.

[2]CORREAG，ASSUNCAOP，AGOSTINIL，etal.Performanceandcomputationalcomplexityassessmentofhigh-efficiencyvideodecoders[J].IEEEtransactionsoncircuitsandsystemsforvideotechnology，2012，22(12)：1899-1909.

[3]劉昱，胡曉爽，段繼忠. 新一代視頻編碼技術(shù)HEVC算法分析及比較[J]. 電視技術(shù)，2012，36(20)：45-49.

[4]CHOIK，PARKSH，JANGES.CodingtreepruningbasedCUearlytermination[C]//Proc.JCT-VC6thMeeting.Torino：JCT-VC， 2011：14-22.

[5]LAROCHEG，POIRIERT，ONNOP.Encoderspeed-upforthemotionvectorpredictorcostestimation[C]//Proc.JCT-VC8thmeeting.SanJose，CA，USA：JCT-VC，2012：121-128.

[6]GWEONRH，LEEYL，LIMJ.EarlyterminationofCUencodingtoreduceHEVCcomplexity[C]//Proc.JCT-VC6thmeeting.Torino：JCT-VC，2011：1-5.

[7]LIX，ANJC，GUOX，etal.AdaptiveCUdepthrange[C]//Proc.JCT-VC5thMeeting.Geneva：JCT-VC，2011.

[8]KIMJ，YANGJ，WONK，etal.EarlydeterminationofmodedecisionforHEVC[C]//Proc.PictureCodingSymposium(PCS).Kraków，Poland：PCS2012：449-452.

[9]LEEHS，KIMKY，KIMTR，etal.Fastencodingalgorithmbasedondepthofcoding-unitforhighefficiencyvideocoding[J].Opticalengineering，2012，51(6)：56-61.

[10]SHENLiquan，LIUZhi，ZHANGXinpeng，etal.AneffectiveCUsizedecisionmethodforHEVCencoders[J].IEEEtransactionsonmultimedia，2013，15(2)：465-470.

[11]蔣剛毅，楊小祥，彭宗舉，等. 高效視頻編碼的快速編碼單元深度遍歷選擇和早期編碼單元裁剪[J]. 光學(xué)精密工程，2014，22(5)：1322-1330.

[12]晏軻，滕國(guó)偉，胡錦雯，等. 一種基于時(shí)空相關(guān)性的編碼單元深度快速分級(jí)判決算法[J]. 光電子·激光，2014，25(1)：156-162.

[13]姚春蓮，郭克友. 一種利用幀差信息的實(shí)時(shí)運(yùn)動(dòng)對(duì)象檢測(cè)算法[J]. 計(jì)算機(jī)工程與應(yīng)用，2011，47(8S)：390-393.

[14]JCT-VC．HEVCReferenceSoftwareHM-12.0 [EB/OL][2014-09-01].https//hevc.hhi.fraunhofer.de/svn/svn_HEVCSoftware/tags/HM-12.0.

[15]BOSSENF.JCTVC-L1100,Commontestconditionsandsoftwarereferenceconfigurations[S].2013.

[16]PATEUXS，JUNGJ.Anexceladd-inforcomputingbjontegaardmetricanditsevolution[S].2007.

金智鵬(1982— )，碩士，副教授，主要研究方向?yàn)榈蛷?fù)雜度視頻編碼與傳輸、圖像質(zhì)量評(píng)價(jià)等；

代紹慶(1972— )，碩士，副教授，主要研究圖像壓縮、圖像處理與模式識(shí)別；

王利華(1977— )，高級(jí)工程師，主要研究網(wǎng)絡(luò)視頻測(cè)試與傳輸技術(shù)。

責(zé)任編輯：時(shí)雯

FastintermodedecisionalgorithmforHEVCbasedonmotionfeatures

JINZhipeng1，DAIShaoqing1，WANGLihua2

(1.Information Technology Branch Institute，Jiaxing Vocational Technical College，Zhejiang Jiaxing 314036，China；2. Zhejiang(Jiaxing) Microsoft's Technology Research Center，Zhejiang Jiaxing 314000，China)

Keywords:HEVC；interprediction；codingunits(CU)；predictionunits(PU)；co-locatedposition；CUdepthrange

Abstract:ToreducethecomplexityofHEVCinterpredictioncoding，anovelfastCU(CodingUnits)andPU(PredictionUnits)modedecisionalgorithmbasedonmotionfeaturesisproposed.Firstly，todetectmovementintensitythroughsecondorderdifferencemethod，andtoanalyzetheimpactofmotionfeaturestoCUandPUtemporalcorrelation.Secondly，topredictthecurrentCUdepthrangeandPUmodeusingthebestCUandPUmodeoftheco-locatedpositioninthepreviousframe.Then，tooptimizethepredictedrangeaccordingtothemotionfeatures.Finally，inordertospeeduptheinterpredictioncoding，toskipandterminationofsomeunnecessaryCUandPUmodeaccordingtothepredictedrange.ExperimentalresultsonHM12.0showthattheproposedalgorithmcanreduceencodingtimefor48.389%，whileBDPSNRlossisonly0.068dBandBRBRincrementis1.530%．

中圖分類號(hào)：TN919.8

文獻(xiàn)標(biāo)志碼:A

DOI：10.16280/j.videoe.2016.01.003

基金項(xiàng)目：浙江省教育廳科研計(jì)劃項(xiàng)目(Y201431212)；嘉興市科技計(jì)劃項(xiàng)目(2014AY11003)

作者簡(jiǎn)介：

收稿日期：2014-9-12

文獻(xiàn)引用格式：金智鵬,代紹慶,王利華.基于運(yùn)動(dòng)特征的HEVC幀間模式快速判決算法[J].電視技術(shù),2016，40(1)：13-18.

JINZP，DAISQ，WANGLH.FastintermodedecisionalgorithmforHEVCbasedonmotionfeatures[J].Videoengineering,2016,40(1)：13-18.