彭 欣，何小海，熊淑華，李向群

(四川大學(xué) 電子信息學(xué)院，四川 成都 610065)

基于灰度差值的HEVC快速幀間編碼研究

彭 欣，何小海，熊淑華，李向群

(四川大學(xué) 電子信息學(xué)院，四川 成都 610065)

針對新一代視頻壓縮編碼標(biāo)準(zhǔn)HEVC計算復(fù)雜度較高的特點，利用視頻序列間時域上的相關(guān)性，提出了一種基于灰度差值的編碼單元快速劃分策略。該策略根據(jù)當(dāng)前編碼塊與參考塊之間的灰度差值進(jìn)行運動條件判決，在進(jìn)行編碼之前提前確定當(dāng)前編碼單元的編碼深度信息，減少幀間預(yù)測編碼的次數(shù)，從而有效地降低了編碼端的計算復(fù)雜度。實驗結(jié)果表明，該算法在編碼效率和峰值信噪比(PSNR)損失都很小的情況下，和HM標(biāo)準(zhǔn)中的幀間預(yù)測算法相比，平均降低了50.18%的編碼時間。

HEVC；幀間預(yù)測；灰度差值；編碼時間

隨著視頻業(yè)務(wù)的飛速發(fā)展，人們對觀看高清視頻的需求也越來越高，目前主流的視頻壓縮編碼標(biāo)準(zhǔn)H.264已經(jīng)不能適應(yīng)高數(shù)據(jù)量下的高清視頻傳輸。在這種趨勢下，新一代視頻壓縮編碼標(biāo)準(zhǔn)HEVC應(yīng)運而生。HEVC最主要的目標(biāo)是在同等視頻質(zhì)量下減少50%左右的碼率，由此獲得編碼效率上的顯著提高。但良好的性能也帶來了計算復(fù)雜度的上升，因此，保證視頻編碼質(zhì)量的同時降低編碼的計算復(fù)雜度成為了學(xué)術(shù)界研究的熱點。相對于H.264，HEVC在編碼性能上有了很大程度的提升，主要體現(xiàn)在以下幾個方面：1)采用了更加靈活的編碼結(jié)構(gòu)，它包括編碼單元CU、預(yù)測單元PU和變換單元TU，同時將宏塊的大小從H.264的16×16擴展到了64×64，以便于更好地進(jìn)行高分辨率視頻壓縮；2)采用了更多的幀內(nèi)預(yù)測方向，每種PU尺寸最多可達(dá)35種預(yù)測方向，更廣范圍的PU尺寸和更多的PU幀內(nèi)預(yù)測方向使得HEVC幀內(nèi)預(yù)測比H.264/AVC有了更高的編碼效率；3)采用了更多的幀間預(yù)測模式，包含了對稱PU模式和非對稱PU模式，使得HEVC有了更加精確的塊匹配。

在已有的HEVC快速幀間算法的研究中，文獻(xiàn)[2]利用視頻序列間的紋理信息檢測出相對平坦的區(qū)域以及隨時間變化較穩(wěn)定的區(qū)域來提前終止四叉樹的CU劃分，達(dá)到減少幀間預(yù) 測計算復(fù)雜度的目的。文獻(xiàn)[3]提出了一種低復(fù)雜度下的運動矢量合并算法，通過合并小尺寸PU的運動向量來計算更大塊尺寸的PU，進(jìn)而減少運算復(fù)雜度。文獻(xiàn)[4]根據(jù)當(dāng)前CU的運動特性，采取不同的優(yōu)化編碼方式來減少幀間預(yù)測時間。文獻(xiàn)[5]介紹了編碼單元進(jìn)行合并時的各種情況，并討論了在不同情況下如何更好地進(jìn)行運動信息預(yù)測，在幀間預(yù)測中采用合并模式可以大大提高HEVC實時編碼的效率。上述方法均取得了比較好的效果，但在實時性要求較高的場合，算法節(jié)省的時間還不夠多，編碼時間還有待優(yōu)化。

1 HEVC幀間預(yù)測介紹

HEVC幀間預(yù)測是利用視頻信號的時域相關(guān)性，通過運動補償預(yù)測編碼方法來消除視頻圖像在時間上的冗余，達(dá)到壓縮視頻信號的目的。在HM標(biāo)準(zhǔn)的測試模型中，配置文件支持4種類型的CU尺寸大小，分別為64×64，32×32，16×16，8×8，它們對應(yīng)著編碼深度0～3。在實際的編碼過程中，從1個LCU開始，通過比較本層CU和下層4個子CU的率失真值(RDCost)的大小來確定當(dāng)前層CU是否需要劃分，以此類推進(jìn)行CU的四叉樹劃分，直到達(dá)到最小的CU尺寸為8×8為止，具體的四叉樹劃分流程如圖1所示。

圖1 CU進(jìn)行四叉樹遞歸劃分的過程

HEVC幀間預(yù)測過程如圖2所示。

圖2 HEVC幀間預(yù)測過程

在對CU進(jìn)行編碼的同時，每個CU又將分成若干個預(yù)測單元PU，所有和預(yù)測相關(guān)的操作都是以PU為單位進(jìn)行。HEVC中定義了8種不同的幀間預(yù)測PU模式，根據(jù)預(yù)測的類型提供了4種對稱模式(2N×2N，2N×N，N×2N，N×N)和4種非對稱模式(2N×nU，2N×nD，nL×2N，nR×2N)。對于各個編碼深度下的CU都將遍歷完屬于該尺寸下的PU模式，通過比較RD-Cost，最終確定CU的尺寸和PU的模式。

2 本文算法

在HEVC標(biāo)準(zhǔn)的視頻編碼框架中，編碼單元CU的劃分占據(jù)了幀間預(yù)測的大部分時間，每一個LCU最終劃分方式確定要通過遞歸比較每一層不同尺寸CU的RDCost來得出。而HEVC采用了4種CU尺寸和8種PU預(yù)測模式，在每種CU尺寸和PU模式下均對其進(jìn)行率-失真代價值的計算，總體的計算復(fù)雜度是巨大的。若不考慮非對稱模式，每層深度的CU在進(jìn)行幀間預(yù)測模式時，需要計算1個skip模式、1個merge模式、1個2N×2N幀間模式、2個2N×N幀間模式、2個N×2N幀間模式和1個2N×2N幀內(nèi)模式的率失真代價，當(dāng)深度為3時需要再計算4個N×N幀內(nèi)模式的率失真代價。以1個LCU為例，即使不考慮非對稱模式，仍然需要計算936次率失真代價。統(tǒng)計HM13.0中各個模塊的運行總時間，結(jié)果如表1所示，HEVC在優(yōu)化編碼單元樹上花費了巨大的時間，直接影響著編碼器的總體性能。

2.1 灰度差值

灰度差值是一種提取相鄰圖像之間變化量的方法，在視頻序列中，前后兩幀有高度的相關(guān)性，后一幀延續(xù)了前一幀中的運動趨勢，這些相鄰幀在背景區(qū)域上是相似的，這些背景區(qū)域可以視為圖像中的靜止區(qū)域。若當(dāng)前幀相對前一幀是靜止?fàn)顟B(tài)的，則兩幀之間對應(yīng)位置塊的灰度差值會非常?。幌喾?，若當(dāng)前幀相對前一幀運動比較劇烈，則兩幀之間對應(yīng)位置塊的灰度差值會比較大。根據(jù)以上分析，相鄰兩幀對應(yīng)位置上的灰度差值可以反映一幀圖像中的運動區(qū)域，因此可以將灰度差值作為運動區(qū)域檢測的判據(jù)，其模型定義為

Dm(x,y)=Fm(x,y)-

Fm-1(x,y)

(1)

式中：x和y分別為當(dāng)前幀中像素點的坐標(biāo)；m為視頻序列的第幾幀；Fm(x,y)為當(dāng)前幀圖像在坐標(biāo)

表1 HM13.0 各個模塊編碼時間比例

為(x,y)位置像素點的灰度值；Dm(x,y)為兩幀圖像對應(yīng)位置的灰度差值。取BQMall序列的相鄰兩幀作為原始輸入圖像，對BQMall序列的第二幀圖像與第三幀圖像按式(1)進(jìn)行灰度差值后，得到的效果如圖3所示。

圖3 相鄰兩幀灰度差值的圖像(BQMall)

根據(jù)式(1)，可以得到指定位置的灰度差值，但是圖像幀中的像素值會受到噪聲和波動的影響，這會影響到最后的判定。因此，可以設(shè)定一個閾值，當(dāng)灰度差值小于這個閾值時，可以認(rèn)為兩幀圖像中對應(yīng)位置變化不大，判定為靜止區(qū)域，當(dāng)灰度差值大于該閾值時，則對應(yīng)位置可判定為運動區(qū)域。根據(jù)這個判定條件，對灰度差值后得到的圖像進(jìn)行二值化處理。

在這里，閾值的選取至關(guān)重要，已有的最大類間方差法(OTSU)雖然能夠?qū)D像進(jìn)行自適應(yīng)的閾值選取，但該方法是以整幀圖像為單位，對局部圖像塊的閾值選取上會有一定的誤差。本文考慮到圖像塊的閾值精度，提出了一種雙重閾值選取方法。

首先以整幀圖像為單位，假定分割閾值為T，從當(dāng)前圖像中的最小灰度值到最大灰度值對T進(jìn)行遍歷。設(shè)一幅圖像中的灰度值為1～k級，灰度值為i的像素點數(shù)為ni，利用式(2)得到該幅圖像中的總像素數(shù)N與各灰度值所占概率pi的關(guān)系為

(2)

pi=ni/N

(3)

在每次遍歷中，利用T將像素點分為前景與背景。設(shè)前景占整幅圖像的比例為PF，其平均灰度為wF；背景占整幅圖像的比例為PB，平均灰度為wB，利用以下公式求出整幅圖像的平均灰度W

(4)

(5)

W=PF×WF+PB×WB

(6)

再根據(jù)方差的定義，利用式(7)，求出前景和背景圖象的方差。方差可以作為閾值分割的一種度量，方差值越大對應(yīng)著構(gòu)成圖像的兩部分差別越大，此時的二值化效果最明顯。所以當(dāng)方差G最大時，此時的灰度T即為最佳的分割閾值。

G=PF×(WF-W)2+PB×(WB-W)2

(7)

得到以整幀圖像為單位的自適應(yīng)閾值T1后，重復(fù)進(jìn)行式(3)～(7)，以目標(biāo)子圖像塊(LCU的大小64×64)為基本單位，得到閾值T2，對每個局部塊利用式(8)進(jìn)行二值化處理

(8)

根據(jù)式(8)可以得到只有黑白兩種顏色的二值圖像，如圖4所示，該圖像可作為接下來進(jìn)行判定的依據(jù)?？紤]到二值化后的圖像會存在一些小的噪聲，反映到二值圖像上即為零星的白色噪點，本文利用中值濾波來進(jìn)行處理

G(x,y)=med{F(x-k,y-l),k,l∈W}

(9)

式中：F(x,y)，G(x,y)分別為原始圖像和處理后圖像；W為二維模板。本文使用3×3的模板對原二值圖像進(jìn)行中值濾波來消除圖像塊中的噪點，濾波后的實驗效果如圖5所示。

圖4 二值化后的圖像

圖5 濾波后的圖像

為驗證算法可行，在HM13.0標(biāo)準(zhǔn)編碼下，設(shè)定QP為32，打印BQMall序列第二幀圖像與第三幀圖像的CU分割特性，如圖6～8所示。靜止區(qū)域基本與CU分割特性相符，即參照了前一幀的對應(yīng)位置塊的劃分。

圖6 濾波后的局部塊

圖7 第二幀局部塊CU分割

圖8 第三幀局部塊CU分割

2.2 基于灰度差值的快速CU劃分

每一幀圖像由很多像素點組成，如果窮盡考慮圖像幀中的每一個像素點，需要處理的數(shù)據(jù)量是巨大的。本文算法以1個LCU為單位進(jìn)行分析。由于1個LCU可以分為64個 8×8 大小的SCU，本文取每個SCU塊的中心像素點進(jìn)行跟蹤，對每個LCU跟蹤64個像素點，保存這64個像素點的灰度差值，為接下來的CU劃分提供依據(jù)。

由于灰度差值后的二值圖像會存在一些檢測誤差，這里設(shè)置一個門限Th來減少這些誤差，對一個LCU保存下來的64個灰度差值而言，如果灰度值為255的像素點數(shù)量大于等于Th，可以判定該LCU相對于前一幀對應(yīng)位置的LCU為運動劇烈的，因此需要用HM標(biāo)準(zhǔn)算法進(jìn)行預(yù)測編碼。如果小于Th，則該LCU相對于前一幀對應(yīng)位置的LCU為靜止的，即假定的背景區(qū)域，可直接參照前一幀對應(yīng)位置的LCU進(jìn)行CU劃分。為了算出合理的Th，進(jìn)行了大量的實驗統(tǒng)計，分別使用了不同分辨率共8個視頻序列的前100幀進(jìn)行測試。經(jīng)過數(shù)據(jù)分析，將Th設(shè)定為10，以此作為劃分判定。具體統(tǒng)計流程如圖9所示。

圖9 運動區(qū)域統(tǒng)計流程

考慮到某些分辨率大小的視頻序列在邊界處的LCU不完整，這里只參考每幀圖像中完整的LCU，這樣可以保證每個LCU中有64個像素點是可以被跟蹤的。對于416×240的視頻序列，完整的LCU個數(shù)為6×3=18個。在實際的編碼過程中，HM對這種情況的處理是將邊界不完整的LCU補全為1個LCU進(jìn)行編碼操作，即該分辨率下的實際LCU個數(shù)為 7×4 =28個。對BQSquare序列的第10幀圖像進(jìn)行CU結(jié)構(gòu)劃分，從圖10可以看到，位于邊界上的LCU不是完整的。

圖10 1幀圖像中LCU的劃分情況(BQSquare)

針對不同分辨率的視頻序列進(jìn)行運動特性統(tǒng)計。在編碼當(dāng)前幀時，通過灰度差值與前一幀進(jìn)行對比，得到當(dāng)前編碼塊的運動特性，統(tǒng)計結(jié)果如表2所示。

表2 各種分辨率視頻序列運動特性統(tǒng)計

2.3 算法的具體流程

基于以上的分析，本文算法的具體流程(見圖11)為：

圖11 本文算法整體流程

1)判斷當(dāng)前編碼幀是否為第一幀，若為第一幀，跳過接下來的步驟，直接進(jìn)入xCompressCU函數(shù)進(jìn)行HM標(biāo)準(zhǔn)的四叉樹遞歸劃分。

2)判斷當(dāng)前LCU是否為第一個LCU，若為第一個LCU，進(jìn)入灰度差值處理函數(shù)，否則，跳過步驟3)。

3)將當(dāng)前幀圖像與前一幀圖像進(jìn)行灰度差值，對灰度差值后的圖像進(jìn)行自適應(yīng)二值化處理，得到需要跟蹤像素點的灰度值。

4)若當(dāng)前LCU在邊界上，跳過接下來的步驟，直接進(jìn)入xCompressCU函數(shù)進(jìn)行HM標(biāo)準(zhǔn)的四叉樹遞歸劃分，否則，以一個LCU為單位，遍歷每個 LCU跟蹤像素點的灰度值，根據(jù)設(shè)定的門限對當(dāng)前LCU的運動劇烈程度進(jìn)行判定。

5)若當(dāng)前LCU判定為運動劇烈區(qū)域，則進(jìn)入xCompressCU函數(shù)進(jìn)行HM標(biāo)準(zhǔn)的四叉樹遞歸劃分；否則，直接參考前一幀圖像對應(yīng)位置LCU的劃分情況，對當(dāng)前編碼的LCU按設(shè)定的深度進(jìn)行劃分。

6)進(jìn)入xCompressCU后，遍歷由灰度差值確定的CU編碼深度下的PU預(yù)測模式。

3 實驗結(jié)果與算法性能分析

本文實驗所選取的測試模型為HM13.0，配置文件采用低延時編碼結(jié)構(gòu)當(dāng)中的encoder_lowdelay_P_main.cfg。實驗的測試環(huán)境遵從HM13.0測試標(biāo)準(zhǔn)，選取了從416×240到 1 920×1 080不同分辨率的共8個視頻序列的前100幀進(jìn)行測試，量化參數(shù)QP設(shè)置為22，27，32，37。測試序列的實驗平臺的CPU為Intel(R)Core(TM)i5-3470 CPU @ 3.20 GHz，內(nèi)存為4.00 Gbyte。本文算法的性能優(yōu)劣是通過PSNR(峰值信噪比)，比特率及編碼時間相對于標(biāo)準(zhǔn)算法的變化情況來衡量，其計算如下

ΔPSNR=PSNRnew-PSNRHM

(10)

(11)

(12)

式中：ΔPSNR表示本文算法與HM13.0標(biāo)準(zhǔn)算法峰值信噪比的差值；ΔBR表示本文算法與HM13.0標(biāo)準(zhǔn)算法比特率差值的百分率；ΔT表示本文算法與HM13.0標(biāo)準(zhǔn)算法時間差值的百分率。根據(jù)以上配置進(jìn)行試驗，實驗結(jié)果統(tǒng)計如表3和圖12所示。

表3 實驗統(tǒng)計結(jié)果

圖12 率失真曲線

實驗結(jié)果表明，本文提出的算法與HM13.0標(biāo)準(zhǔn)算法相比，在PSNR與比特率變化不大的情況下，幀間編碼的時間平均節(jié)省了50.18%，而且本文提出的算法與HM13.0標(biāo)準(zhǔn)算法的率失真曲線基本重合，證明了本文算法的普遍性，基本符合了高清視頻編碼的特性。

為體現(xiàn)本文算法在性能提升方面的優(yōu)勢，對文獻(xiàn)[6-9]提出的4種幀間快速算法進(jìn)行對比，從表4(ΔP，ΔB，ΔTi分別表示與標(biāo)準(zhǔn)算法相比變化的信噪比、比特率與編碼時間)數(shù)據(jù)對比中可以看出，在PSNR與比特率相差不大的情況下，本文算法能夠節(jié)省較多的編碼時間。

表4 本文算法與文獻(xiàn)[6-9]快速算法性能對比

4 總結(jié)

本文利用視頻序列在相鄰幀中時域相關(guān)性強的特點，提出了一種基于灰度差值的快速CU劃分算法，在編碼當(dāng)前CU時利用參考幀中對應(yīng)位置處的CU作為參考，進(jìn)行當(dāng)前CU的快速劃分，提前確定當(dāng)前CU的編碼深度，從而達(dá)到減少遍歷編碼層數(shù)，降低計算復(fù)雜度的目的。通過實驗數(shù)據(jù)可以明顯發(fā)現(xiàn)，本文的算法與標(biāo)準(zhǔn)算法相比平均能夠節(jié)省50.18%的時間，在實時性要求較高的場合具有良好的編碼性能，這也體現(xiàn)了本文算法的優(yōu)越性。

[1] WIEGAND T，OHM J R，SULLIVAN G J，et al. Special section on the joint call for proposals on High Efficiency Video Coding (HEVC) standardization[J]. IEEE Trans. Circuits and Systems for Video Technology，2010，20(12)：1661-1666.

[2] 張強，袁春. 基于圖形信息的HEVC幀間預(yù)測快速算法[J].計算機科學(xué)與探索，2014，8(5)：537-542.[3] BAMPI S， GRELLERT M，AGOSTINI L. Motion vectors merging： low complexity prediction unit decision heuristic for the inter-prediction of HEVC encoders[C]//Proc. 2012 IEEE International Conference on Multimedia & Expo (ICME’12). [S.l.]：IEEE Press，2012:657-662.

[4] 胡錦雯，滕國偉，成益龍，等.基于運動特征的快速HEVC幀間預(yù)測算法[J].上海大學(xué)學(xué)報：自然科學(xué)版，2013，19(3)：245-249.

[5] HELLE P， OUDIN S，BROSS B. Block merging for quad-tree based partitioning in HEVC[J]. IEEE Trans. Circuits and Systems for Video Technology，2012，22(12)：1720-1731.

[6] 李元，何小海，鐘國韻，等. 一種基于時域相關(guān)性的高性能視頻編碼快速幀間預(yù)測單元模式判決算法[J]. 電子與信息學(xué)報，2013，35(10)：2365-2370.

[7] HE Juan，HE Xiaohai，LI Xiangqun，et al. Fast inter-mode decision algorithm for high-efficiency video coding based on textural features[J]. Journal of Communications，2014， 9(5)： 441-447.

[8] SHEN L，LIU Z，ZHANG X，et al. An effective cu size decision method for HEVC encoders [J]. IEEE Trans. Multimedia，2013， 15(2)： 465-470.

[9] XIONG Jian，LI Hongliang，WU Qingbo，et al. A fast HEVC inter cu selection method based on pyramid motion divergence[J]. IEEE Trans. Multimedia，2014，16(2)：559-564.

[10] 劉昱，胡曉爽，段繼忠. 新一代視頻編碼技術(shù)HEVC算法分析及比較[J].電視技術(shù)，2012，36(20)：45-49.

[11] SHIAU Y，CHANG T. Fast prediction unit selection for HEVC fractional pel motion estimation design[C]//Proc. 2013 IEEE Workshop on Signal Processing Systems (SiPS).Taipei：IEEE Press，2013：247-250.

[12] YOO H M，SUH J W. Fast coding unit decision algorithm based on inter and intra prediction unit termination for HEVC[C]//Proc. 2013 IEEE International Conference on Consumer Electronics (ICCE). Las Vegas：IEEE Press，2013：300-301.

[13] PAN Z，KWONG S，SUN M，LEI J. Early MERGE mode decision based on motion estimation and hierarchical depth correlation for HEVC[J]. IEEE Trans. Broadcasting，2014，60(2)：405-412.

[14] LEE P J，KUO K T，HUANG S H，et al. Coding mode determination using fuzzy reasoning in H.264 motion estimation[J]. IET. Signal Processing，2011，5(2)：242-250.

[15] LIN Jianliang，CHEN Yiwen，HUANG Yuwen，et al. Motion vector coding in the HEVC standard[J]. IEEE Journal of Selected Topics in Signal Processing，2013，6(7)：957-968.

責(zé)任編輯：時 雯

Research of Inter Frame for High Efficiency Video Coding Based on Gray Value Difference

PENG Xin，HE Xiaohai，XIONG Shuhua，LI Xiangqun

(SchoolofElectronicsandInformationEngineering，SichuanUniversity，Chengdu610065，China)

With respect to the computational complexity of the High Efficiency Video Coding(HEVC)， a rapid partitioning strategy of coding unit(CU) which is based on the gray value difference algorithm by using the strong temporal correlation in video sequences is proposed. The method is to determine the depth of the current coding unit before coding process， according to the differences of gray level between the current coding block and referencing block， which can reduce the number of times of inter-frame prediction and lower the computation complexity of the encoding. As a result， in the cases that both coding efficiency and PSNR are tiny， the coding time is decreased by 50.18% when compared with the inter prediction algorithm recommended in HM standard.

HEVC； inter frame prediction； gray value difference； coding time

【本文獻(xiàn)信息】彭欣，何小海，熊淑華,等.基于灰度差值的HEVC快速幀間編碼研究[J].電視技術(shù),2015，39(13).

國家自然科學(xué)基金項目(61471248)；四川省教育廳2014年研究生教育改革創(chuàng)新項目(2014-教-034)

TN919.81

A

10.16280/j.videoe.2015.13.001

2015-03-12