劉 暢，馬 然，劉德陽，張兆楊

(1.上海大學(xué)通信與信息工程學(xué)院，上海200072;2.新型顯示技術(shù)及應(yīng)用集成教育部重點(diǎn)實(shí)驗(yàn)室，上海200072)

隨著高清電視、多媒體應(yīng)用技術(shù)的快速發(fā)展，原先的視頻壓縮標(biāo)準(zhǔn)已不能滿足用戶對(duì)高清晰度視頻的要求。為此，ITU-T VCEG和ISO/IEC MPEG共同成立了一個(gè)工作小組JCT-VC，提出了新一代視頻編碼標(biāo)準(zhǔn)HEVC(High Efficiency Video Coding)［1］，與 H.264/AVC 相比，旨在保證相同解碼質(zhì)量的情況下壓縮效率提高一倍。傳統(tǒng)的H.264/AVC最大支持16×16宏塊，HEVC測試模型(HM)仍沿用H.264/AVC的混合編碼框架，但其塊尺寸可以從8×8擴(kuò)展到64×64的編碼塊(Code Unit，CU)。HEVC采用四叉樹編碼結(jié)構(gòu)，并且支持靈活的塊分割，進(jìn)而實(shí)現(xiàn)了對(duì)不同尺寸CU的編碼，不再局限于H.264/AVC的16×16宏塊范圍內(nèi)。然而，由于干擾、噪聲和信道擁塞等原因?qū)е滦诺啦豢杀苊鈺?huì)有誤碼或丟包等現(xiàn)象發(fā)生，使得視頻碼流受損。而且，由于HEVC支持多種不同尺寸塊，其碼流在網(wǎng)絡(luò)傳輸中遭遇信道錯(cuò)誤會(huì)導(dǎo)致視頻序列出現(xiàn)各種不同尺寸的錯(cuò)誤塊，因此，有必要研究如何對(duì)這些不同尺寸錯(cuò)誤塊進(jìn)行有效的隱藏。

1 編碼塊的特性分析

對(duì)于高清視頻而言，如果仍然利用H.264/AVC進(jìn)行16×16宏塊分割，則會(huì)影響壓縮效率，因此HEVC通過靈活的塊分割能夠有效地改善編碼效率。對(duì)于平坦區(qū)域(紋理簡單、靜止區(qū)域)可以進(jìn)行較大塊分割，而對(duì)于紋理復(fù)雜區(qū)域(比如邊界區(qū)域)可以進(jìn)行小尺寸分割。在高清視頻中，較大的運(yùn)動(dòng)變換塊能夠更高效地去除空間上的冗余，這樣就突破了H.264/AVC固定尺寸分割的束縛，進(jìn)而大大提高了壓縮效率。

HEVC的編碼特性決定了不同尺寸塊在不同區(qū)域的分布情況呈現(xiàn)一定的規(guī)律性，一般情況下，對(duì)于一些靜止的后景區(qū)域或者一些紋理較簡單的運(yùn)動(dòng)物體，直接采用64×64塊編碼，無需進(jìn)一步分割，同樣這些區(qū)域也可采用32×32編碼塊;對(duì)于8×8塊以及16×16塊而言，其在圖像邊緣處(包括前景、背景交界處)或者紋理很復(fù)雜的區(qū)域出現(xiàn)的概率較大。因此，在有誤網(wǎng)絡(luò)傳輸中，受損的較大尺寸編碼塊(64×64，32×32)一般出現(xiàn)在紋理簡單處，多為后景區(qū)域;而小尺寸編碼塊(16×16，8×8)的丟失主要集中在邊界區(qū)域附近。

2 基于前、后景的錯(cuò)誤隱藏

由于不同尺寸的編碼塊的特性的不同，其所適用的錯(cuò)誤隱藏的具體方法也是不同的。而且編碼塊尺寸的大小與前、后景區(qū)域有關(guān)，因此，本文首先對(duì)當(dāng)前圖像的前景區(qū)域和背景區(qū)域進(jìn)行了判別［2］，然后對(duì)前景區(qū)域、背景區(qū)域以及邊界區(qū)域的錯(cuò)誤塊分別進(jìn)行隱藏，其中著重研究分析了邊界處錯(cuò)誤塊的隱藏。

2.1 判別前后景區(qū)域

對(duì)于一般的視頻序列而言，后景區(qū)域是保持靜止的，而屬于前景區(qū)域(包括邊界處)的宏塊之間變化較大、時(shí)域活躍性較強(qiáng)。本文利用錯(cuò)誤塊周圍正確接收塊的時(shí)域活躍性來判斷錯(cuò)誤塊屬于前景還是后景。

錯(cuò)誤塊可能會(huì)是各種不同尺寸的CU。由于錯(cuò)誤塊周圍同樣會(huì)出現(xiàn)不同尺寸的CU，而這些鄰近塊也有可能正確或錯(cuò)誤。因此，確定鄰近正確塊和鄰近錯(cuò)誤塊的分布情況是不易的。為了充分利用周圍塊信息，本文對(duì)錯(cuò)誤塊周圍所有不同尺寸的CU進(jìn)行8×8塊分割，然后對(duì)每個(gè)8×8塊是否正確進(jìn)行標(biāo)記，如果該8×8塊為錯(cuò)誤塊，則舍棄不用，這樣可以最大程度上利用周圍塊的正確信息。圖1是以64×64塊為例說明了其周圍的鄰近塊的分布情況，其中灰色區(qū)域代表該64×64塊錯(cuò)誤塊。

圖1 錯(cuò)誤塊周圍不同尺寸的CU

時(shí)域活躍性主要是利用錯(cuò)誤塊周圍的正確塊在空間上最鄰近錯(cuò)誤塊的2行及2列的像素進(jìn)行判斷，如圖2所示。具體的時(shí)域活躍性TAVG可以根據(jù)式(1)～式(5)計(jì)算得到。式(1)～式(4)分別求得上、左、下、右4個(gè)方向的鄰近 SAD(Sum of Absolute Difference)。其中，Bt(x，y)表示當(dāng)前幀中的錯(cuò)誤塊，Bt-1(x，y)表示參考幀中對(duì)應(yīng)位置塊，(x，y)表示錯(cuò)誤塊左上角的空間像素坐標(biāo)，M表示用于匹配的行數(shù)或者列數(shù)，考慮到相鄰像素的強(qiáng)相關(guān)性以及算法本身的復(fù)雜度，這里M取值為2，N表示周圍塊的實(shí)際可用像素寬度(錯(cuò)誤像素不參與運(yùn)算)，T，L，B，R代表上、左、下、右4個(gè)方向。公式如下

圖2 前景、后景判別方法

錯(cuò)誤塊的時(shí)域活躍性與鄰近4個(gè)SADi密切相關(guān)，同時(shí)也要考慮到錯(cuò)誤塊周圍參與計(jì)算的8×8塊(鄰近正確塊)的個(gè)數(shù)Num8×8Block，因此，時(shí)域活躍性TAVG可由式(5)求得

如果TAVG＜T1，那么認(rèn)為錯(cuò)誤塊屬于后景區(qū)域，這里T1作為一個(gè)后景判斷的閾值，其值接近于零。通過對(duì)不同尺寸CU自身特性統(tǒng)計(jì)分析得出，當(dāng)TAVG較大且大于某一閾值T2時(shí)，當(dāng)前錯(cuò)誤塊出現(xiàn)在邊界處的概率較大。當(dāng)T1＜TAVG＜T2時(shí)，錯(cuò)誤塊一般出現(xiàn)在運(yùn)動(dòng)的前景區(qū)域。

2.2 后景區(qū)域錯(cuò)誤隱藏

通常情況下后景區(qū)域都是靜止的，屬于該區(qū)域的編碼塊的運(yùn)動(dòng)矢量(Motion Vector，MV)基本為零。如果當(dāng)前幀中的錯(cuò)誤塊處于后景區(qū)域，且HEVC對(duì)其通常采用較大塊編碼，錯(cuò)誤塊的尺寸基本集中為64×64，只要利用參考幀中對(duì)應(yīng)位置上的塊進(jìn)行時(shí)域替代即可。這種隱藏方法簡單、快速。

2.3 前景區(qū)域錯(cuò)誤隱藏

對(duì)于前景區(qū)域而言，由于其保持了良好的運(yùn)動(dòng)一致性，因此前后幀具有較強(qiáng)的時(shí)域相關(guān)性。運(yùn)動(dòng)物體的部分紋理信息(平坦區(qū)域)較為簡單，一般采用64×64或32×32編碼塊，對(duì)于較復(fù)雜的紋理信息(如邊緣處)，需要進(jìn)行更小尺寸的分割，因此，前景區(qū)域可能會(huì)出現(xiàn)各種不同尺寸的錯(cuò)誤塊。但是由于前景區(qū)域保持了運(yùn)動(dòng)一致性，可以通過利用周圍像素塊的運(yùn)動(dòng)矢量即可在參考幀中找到最佳匹配塊，然后進(jìn)行時(shí)域替代。本文首先通過候選運(yùn)動(dòng)矢量獲得匹配塊，然后利用外邊界匹配算法(Outer Boundary Matching Algorithm，OBMA)算法［3］計(jì)算 SADAVG，如果SADAVG小于給定閾值T3，直接選取使得SADAVG最小的運(yùn)動(dòng)矢量進(jìn)行錯(cuò)誤隱藏，否則對(duì)當(dāng)前CU進(jìn)行分割，分成4個(gè)小塊，然后對(duì)每個(gè)小塊重復(fù)上述操作，最后達(dá)到隱藏的目的。這種隱藏算法過程也比較簡單。

2.4 邊界區(qū)域錯(cuò)誤隱藏

圖像自身的紋理特性決定了出現(xiàn)在邊界區(qū)域的錯(cuò)誤塊尺寸主要集中在8×8塊或16×16塊。通過式(5)可以判決出出現(xiàn)在前景與后景的交界處附近的錯(cuò)誤塊(即邊界塊)。更進(jìn)一步，錯(cuò)誤的邊界塊可能會(huì)出現(xiàn)在不同區(qū)域內(nèi)：1)錯(cuò)誤塊出現(xiàn)在背景區(qū)域，但在參考幀中并未出現(xiàn)，即為新出現(xiàn)的信息，那么認(rèn)為該錯(cuò)誤塊為I(Intra)塊，不宜采用時(shí)域法進(jìn)行隱藏，本文主要利用周圍像素的信息進(jìn)行空域插值計(jì)算得出;2)錯(cuò)誤塊剛好出現(xiàn)在邊界處，既包含前景又包含背景，這屬于較復(fù)雜的情況。針對(duì)以上兩種情況，本文主要通過以下步驟進(jìn)行處理：

1)首先通過OBMA算法利用周圍塊的多個(gè)候選運(yùn)動(dòng)矢量計(jì)算SAD。

2)SAD小于預(yù)定義的閾值T4，直接選取使得SAD最小的運(yùn)動(dòng)矢量進(jìn)行錯(cuò)誤隱藏，否則跳到步驟3)。

3)對(duì)當(dāng)前CU進(jìn)行分割，分成4個(gè)小塊，對(duì)每個(gè)分割塊重復(fù)步驟1)和2)，此時(shí)若SAD值仍然較大，則認(rèn)為當(dāng)前塊為幀內(nèi)塊，采用雙線性插值法進(jìn)行錯(cuò)誤隱藏。

3 算法的實(shí)現(xiàn)

根據(jù)上述的分析與探究，本文提出的算法流程圖如圖3所示。

3.1 OBMA算法

本文主要采用OBMA算法計(jì)算錯(cuò)誤塊的匹配代價(jià)，如圖3所示，圖中斜線塊代表鄰近錯(cuò)誤塊，在計(jì)算SAD時(shí)舍棄不算。根據(jù)運(yùn)動(dòng)一致性原理，利用式(6)～式(10)計(jì)算錯(cuò)誤塊外邊界的2行(或2列)像素與參考幀中對(duì)應(yīng)候選塊外邊界的2行(或2列)像素的SAD值

圖3 算法流程圖

式中：Bt(x，y)表示當(dāng)前幀中的錯(cuò)誤塊;Bt-1(x，y)表示參考幀中對(duì)應(yīng)的運(yùn)動(dòng)補(bǔ)償塊;MVx和MVy分別表示候選運(yùn)動(dòng)矢量的水平分量和垂直分量，類似于式(5)，可以得到

本文通過計(jì)算SADAVG的相對(duì)大小來判斷當(dāng)前錯(cuò)誤塊是否需要進(jìn)行進(jìn)一步的分割。

3.2 雙線性插值法

本算法中同時(shí)提到有關(guān)幀內(nèi)插值的方法，為減少計(jì)算復(fù)雜度，本文對(duì)于幀內(nèi)錯(cuò)誤塊主要采用JM代碼中常用的雙線性插值法［4］，該算法對(duì)于受損區(qū)域利用水平方向和垂直方向相鄰像素進(jìn)行插值，其權(quán)值與受損像素到正確圖像邊界的距離成反比。

3.3 候選運(yùn)動(dòng)矢量集

對(duì)于需要進(jìn)行時(shí)域隱藏的錯(cuò)誤塊，關(guān)鍵是要獲取當(dāng)前錯(cuò)誤塊的最佳運(yùn)動(dòng)矢量MV。如圖4所示，本文首先確定分別與錯(cuò)誤塊4個(gè)頂角最鄰近的2個(gè)CU，然后將其正確的運(yùn)動(dòng)矢量(MV0～MV7，周圍錯(cuò)誤塊的MV不參與計(jì)算)以及參考幀中對(duì)應(yīng)位置塊的運(yùn)動(dòng)矢量和零運(yùn)動(dòng)矢量作為錯(cuò)誤塊的候選運(yùn)動(dòng)矢量集，通過SADAVG計(jì)算來確定最佳MV進(jìn)行時(shí)域恢復(fù)。

圖4 運(yùn)動(dòng)矢量候選集

4 實(shí)驗(yàn)結(jié)果分析

4.1 閾值分析

本實(shí)驗(yàn)是在HEVC測試模型HM3.3環(huán)境下實(shí)現(xiàn)的，算法所涉及到的4個(gè)閾值T1～T4，其中，T1主要用于背景和前景區(qū)域判斷，由于背景區(qū)域的時(shí)域活躍度基本接近于0，在本實(shí)驗(yàn)中取值為5;T2主要用于判斷邊界處的錯(cuò)誤塊，對(duì)于此類錯(cuò)誤塊，前后幀中相同位置塊的差異較大，因此其SAD值也相對(duì)較大，實(shí)驗(yàn)中T2取值為850;T3主要是對(duì)前景區(qū)域的判斷，從鄰近塊的運(yùn)動(dòng)矢量集中尋求參考幀中的最佳匹配塊，計(jì)算出的SAD值也應(yīng)較小，這里取值為120;T4是對(duì)分割塊進(jìn)行匹配精度判斷，對(duì)于一些只屬于前景或者背景的分割塊匹配精度較高，SAD值很小，T4取值為50。本文設(shè)定的這些閾值是經(jīng)過對(duì)不同序列大量測試統(tǒng)計(jì)后綜合得出的。

4.2 實(shí)驗(yàn)結(jié)果

本實(shí)驗(yàn)分別對(duì)Cafe序列、Dog序列和Breakdancers序列進(jìn)行了測試。為了體現(xiàn)本文方法的優(yōu)越性，在相同的實(shí)驗(yàn)條件下，還對(duì)各種不同尺寸塊采用同一種隱藏方法：直接從候選運(yùn)動(dòng)矢量集中獲取使得SAD最小的MV進(jìn)行時(shí)域隱藏，即OBMA算法。表1列出了Dog序列在不同丟包率下采用兩種不同方法的實(shí)驗(yàn)結(jié)果。從表1中可以看出，與簡單的OBMA算法相比，本文方法能夠提高2 dB左右的PSNR。表2列出了不同尺寸序列(均選取57幀進(jìn)行實(shí)驗(yàn))在同一丟包率下采用本文方法和OBMA算法的PSNR以及相對(duì)整個(gè)解碼時(shí)間的隱藏錯(cuò)誤塊所占用時(shí)間的百分比，可以看到，本文算法在保持較高PSNR的情況下，其耗時(shí)只占正確解碼時(shí)的2%左右，基本能保證實(shí)時(shí)重建高清視頻。結(jié)合表1、表2可以得出，本文方法在保證了較低復(fù)雜度的同時(shí)獲得了較高的重構(gòu)質(zhì)量。

表1 Dog序列不同丟包率下PSNR比較

表2 不同序列10%丟包率下PSNR以及復(fù)雜度的比較

然而，本算法仍需改善的是對(duì)幀內(nèi)丟失塊的錯(cuò)誤隱藏，圖5為Cafe序列在10%丟包率情況下第26幀出錯(cuò)圖像中的某一區(qū)域，圖6為恢復(fù)后的圖像。從圖中可以直觀地看出，如果錯(cuò)誤塊出現(xiàn)在紋理復(fù)雜區(qū)域，只采用簡單的雙線性插值效果并不好，因此如何進(jìn)行更高效的幀內(nèi)插值也是今后研究的主要問題。筆者希望通過最鄰近邊界塊的預(yù)測模式作為當(dāng)前錯(cuò)誤塊的一種預(yù)測模式進(jìn)行錯(cuò)誤隱藏。

5 結(jié)束語

本文主要是針對(duì)HEVC碼流在傳輸過程中可能出現(xiàn)的各種不同尺寸的錯(cuò)誤塊，給出了一種基于前后景的差錯(cuò)隱藏算法。本文利用邊界分割以及閾值判斷的思想對(duì)錯(cuò)誤塊進(jìn)行了有效的恢復(fù)，實(shí)驗(yàn)數(shù)據(jù)表明采用本文方法能夠獲得較好的隱藏效果。

［1］High efficiency video coding［EB/OL］.［2011-11-20］.http：//en.wikipedia.org/wiki/High_Efficiency_Video_Coding.［1］

［2］JUNG B，JEON B，KIM M D，et al.Selective temporal error concealment algorithm for H.264/AVC［C］//Proc.2004 IEEE International Conference on Multimedia and Expo.Taipei：IEEE Press，2004：411-414.

［3］THAIPANICH T，WU P H，KUO C C J.Video error concealment with outer and inner boundary matching algorithms［C］//Proc.SPIE Optics and Photonics Conference on Applications of Digital Image Processing.San Diego，CA，USA：［s.n.］，2007：26-30.

［4］SALAMA P，SHROFF N B，DELP E J.Error concealment in encoded video streams［EB/OL］.［2011-11-20］.http：//citeseerx.ist.psu.edu/viewdoc/summary?doi=10.1.1.159.866.