高搴檜

(上海交通大學(xué)電子信息與電氣工程學(xué)院，上海 200240)

0 引言

視頻是多媒體技術(shù)中重要的信息載體，而視頻應(yīng)用的核心技術(shù)就是視頻編碼，也稱為視頻壓縮，目的是盡可能去除視頻數(shù)據(jù)中的冗余成分，減少表征視頻的數(shù)據(jù)量，便于視頻存儲(chǔ)與實(shí)時(shí)傳輸。新一代視頻編碼標(biāo)準(zhǔn)——高性能視頻編碼(High Efficiency Video Coding，HEVC)是目前主流的國際正式標(biāo)準(zhǔn)，與前代AVC/H.264標(biāo)準(zhǔn)相比，HEVC/H.265在同樣的編碼質(zhì)量下將壓縮效率提高了50%左右，軟硬件實(shí)現(xiàn)也具有更好的實(shí)用性[1]。

預(yù)測(cè)編碼是視頻編碼中的核心技術(shù)，其中幀內(nèi)預(yù)測(cè)利用當(dāng)前圖像內(nèi)的相鄰已編碼塊的像素重建值對(duì)待編碼塊進(jìn)行預(yù)測(cè)填充，可以有效去除視頻的空域相關(guān)性。由于待編碼像素塊的預(yù)測(cè)值往往和它的真實(shí)像素值相差無幾，因此，幀內(nèi)預(yù)測(cè)對(duì)預(yù)測(cè)殘差而不是原始像素進(jìn)行編碼和傳輸，可以節(jié)省編碼比特?cái)?shù)，大幅提高編碼效率。在實(shí)際的高清視頻應(yīng)用中，為了達(dá)到實(shí)時(shí)編碼，編碼器硬件對(duì)流水時(shí)序的要求很高。然而在HEVC官方測(cè)試模型HM中，色度幀內(nèi)預(yù)測(cè)模式依賴于亮度分量最終模式的確定，其搜索過程需在亮度幀內(nèi)預(yù)測(cè)模式搜索結(jié)束并延遲一段周期之后才能啟動(dòng)，這將導(dǎo)致幀內(nèi)預(yù)測(cè)編碼階段占據(jù)非常長(zhǎng)的時(shí)鐘周期。為了實(shí)現(xiàn)硬件流水線優(yōu)化，可以在傳統(tǒng)算法的基礎(chǔ)上適當(dāng)做一些預(yù)搜索改進(jìn)。本文基于HM傳統(tǒng)幀內(nèi)預(yù)測(cè)算法的基本思想，提出了色度幀內(nèi)預(yù)測(cè)模式搜索優(yōu)化算法，并在不同類別的視頻測(cè)試序列下進(jìn)行性能測(cè)試。

1 傳統(tǒng)幀內(nèi)模式搜索算法描述

預(yù)測(cè)單元(PU)是預(yù)測(cè)編碼的基本單元，每個(gè)PU包含1個(gè)亮度預(yù)測(cè)塊(PB)和2個(gè)色度預(yù)測(cè)塊。兩個(gè)色度PB分別對(duì)應(yīng)Cb、Cr分量信息，同一亮度PB的兩個(gè)色度PB共享同一個(gè)彩色幀內(nèi)預(yù)測(cè)模式。幀內(nèi)PU的劃分分為2N×2N和N×N兩種劃分模式，如圖1所示。其中2N×2N劃分模式指對(duì)于8×8、16×16、32×32、64×64全尺寸的CU，PU尺寸與CU尺寸相同，不再向下劃分；N×N劃分模式只針對(duì)最小尺寸即8×8大小的CU，PU可選擇繼續(xù)往下劃分為4個(gè)4×4大小的PU，該劃分模式比較適應(yīng)圖像的局部統(tǒng)計(jì)特性，可獲得更加準(zhǔn)確的幀內(nèi)預(yù)測(cè)結(jié)果[2]。

圖1 幀內(nèi)預(yù)測(cè)PU的劃分

本文采用的視頻測(cè)試序列均為 4 ∶2 ∶0色度采樣格式。由于亮度PB和色度PB的最小尺寸均為4×4，在 4 ∶2 ∶0色度采樣格式下采用N×N劃分模式，8×8亮度PB會(huì)向下劃分為4個(gè)4×4的亮度PB，4個(gè)亮度PB可以采用不同的幀內(nèi)亮度預(yù)測(cè)模式；而色度PB受尺寸制約將不再繼續(xù)劃分，此時(shí)色度PB雖然像素尺寸為 4×4，但其實(shí)覆蓋了整個(gè)8×8圖像區(qū)域的像素點(diǎn)。HEVC通過遍歷CU下的每一種PU劃分情況，以PU為基本單元，分別進(jìn)行亮度、色度幀內(nèi)預(yù)測(cè)。

1.1 亮度模式搜索過程

HEVC的亮度分量幀內(nèi)預(yù)測(cè)共支持35種預(yù)測(cè)模式，如圖2所示。其中模式0為平面(Planar)預(yù)測(cè)模式，適用于像素值呈漸變趨勢(shì)的區(qū)域；模式1為直流(DC)預(yù)測(cè)模式，適用于圖像的大面積平坦區(qū)域；模式2-34為角度預(yù)測(cè)模式，預(yù)測(cè)像素值由當(dāng)前像素位置按照模式規(guī)定方向向參考像素?cái)?shù)組進(jìn)行映射獲取，下圖中的33個(gè)預(yù)測(cè)方向用格數(shù)來表示角度。

圖2 HEVC幀內(nèi)預(yù)測(cè)模式

相比于H.264/AVC標(biāo)準(zhǔn)中僅采用9種幀內(nèi)預(yù)測(cè)模式，HEVC幀內(nèi)預(yù)測(cè)模式的增加會(huì)顯著提高編碼效率。但由于所需率失真優(yōu)化(RDO)計(jì)算次數(shù)大幅增加，編碼過程將變得更加復(fù)雜且耗費(fèi)時(shí)間。因此，HM模型默認(rèn)使用幀內(nèi)快速搜索算法，分為粗略的模式?jīng)Q策(Rough Mode Decision，RMD)和RDO判決兩個(gè)階段進(jìn)行[3]。在RMD階段，對(duì)參考像素值進(jìn)行填充和平滑濾波后，遍歷35種幀內(nèi)預(yù)測(cè)模式，通過參考像素計(jì)算出每種模式下的預(yù)測(cè)像素值及每種模式基于哈達(dá)瑪變換的率失真代價(jià)JRMD：

JRMD=SATD+λ·RHADmode

(1)

其中，SATD作為失真量度，是源圖像的原始亮度像素值與預(yù)測(cè)塊的預(yù)測(cè)像素值相減得到的預(yù)測(cè)殘差經(jīng)哈達(dá)瑪變換后的絕對(duì)值誤差和；λ是基于量化參數(shù)(QP)確定的拉格朗日乘子；RHADmode表示相應(yīng)模式進(jìn)行編碼時(shí)的碼率比特?cái)?shù)。通過從35個(gè)模式中選取相應(yīng)數(shù)量的JRMD最小的模式，構(gòu)建全率失真優(yōu)化候選模式列表，RMD階段候選模式數(shù)量與PU尺寸的關(guān)系如表1所示。

表1 RMD階段候選模式數(shù)量

為進(jìn)行高效編碼，HEVC為每個(gè)幀內(nèi)PU引入了3個(gè)最可能模式(Most Probable Mode，MPM)，MPM由當(dāng)前PU左側(cè)和上方的相鄰已編碼塊的模式確定，所選取的相鄰PU的位置如圖3所示。在確定全率失真優(yōu)化候選模式列表后，構(gòu)建MPM列表進(jìn)行補(bǔ)充，并開始啟動(dòng)RDO判決階段。

圖3 MPM列表參考?jí)K位置關(guān)系

在RDO判決階段，HEVC遍歷RMD全率失真優(yōu)化候選模式列表中的每個(gè)模式，利用：

JRDO=SSD+λ·Rtotal

(2)

計(jì)算出每種模式的率失真代價(jià)JRDO，式中SSD為誤差平方和。式(2)與式(1)相比，用SSD計(jì)算的率失真代價(jià)包含各模式的實(shí)際編碼過程(變換、量化、反變換、反量化、重建等)，計(jì)算量巨大的同時(shí)提升了模式?jīng)Q策的準(zhǔn)確度；而相比于Rtotal，RHADmode中減少了對(duì)殘差數(shù)據(jù)的編碼，減少了運(yùn)算復(fù)雜度。最終，選取JRDO最小的模式作為亮度分量幀內(nèi)預(yù)測(cè)模式。

1.2 色度模式搜索過程

在確定最終的亮度幀內(nèi)預(yù)測(cè)模式后開始執(zhí)行色度幀內(nèi)預(yù)測(cè)模式的搜索。色度分量在幀內(nèi)預(yù)測(cè)中共采用5種預(yù)測(cè)模式：

(1)色度模式0——Planar模式，相當(dāng)于亮度模式0；

(2)色度模式1——垂直模式，相當(dāng)于亮度模式26；

(3)色度模式2——水平模式，相當(dāng)于亮度模式10；

(4)色度模式3——DC模式，相當(dāng)于亮度模式1；

(5)色度模式4——亮度分量的最終模式X(0 ≤ X ≤ 34)。

若亮度分量的最終模式X是亮度模式集{0，26，10，1}(記為模式集Ψ)中的一種，則將對(duì)應(yīng)的色度預(yù)測(cè)模式替換為對(duì)角模式34，如表2所示。同一亮度PB的兩個(gè)色度PB建立同一個(gè)色度幀內(nèi)預(yù)測(cè)候選模式列表，共享同一幀內(nèi)色度預(yù)測(cè)模式。對(duì)于 4 ∶2 ∶0色度采樣格式下的N×N劃分模式，色度模式4將對(duì)應(yīng)8×8亮度PB左上角4×4子塊的亮度幀內(nèi)預(yù)測(cè)模式，而不考慮另外3個(gè)亮度子塊對(duì)應(yīng)的預(yù)測(cè)模式。遍歷以上5種模式，通過RDO判決出率失真代價(jià)最小的模式作為最優(yōu)的色度分量預(yù)測(cè)模式。

表2 色度幀內(nèi)預(yù)測(cè)模式

2 色度幀內(nèi)模式搜索優(yōu)化算法

目前，快速幀內(nèi)編碼算法的研究主要集中于利用CU的深度信息跳過一些不太可能選擇的模式，或利用當(dāng)前PU內(nèi)像素的梯度信息減少進(jìn)入率失真決策的幀內(nèi)模式的數(shù)量[4-5]，但對(duì)色度模式搜索的快速算法的研究非常少。文獻(xiàn)[6]中雖然提出了快速色度幀內(nèi)模式?jīng)Q策方案，降低了色度模式?jīng)Q策的復(fù)雜度，但對(duì)硬件流水的優(yōu)化效果不明顯。由于在硬件流水上，色度幀內(nèi)預(yù)測(cè)編碼需要等到亮度模式確定后才可以構(gòu)造色度幀內(nèi)預(yù)測(cè)候選模式列表，這需要等待非常長(zhǎng)的時(shí)間。尤其當(dāng)整個(gè)CTU被劃分為較多8×8尺寸的CU時(shí)，CU數(shù)目較多，而如表1所示，8×8 CU在RMD階段的候選模式數(shù)量為8，遠(yuǎn)多于其他尺寸CU的候選模式數(shù)量，這種情況下每個(gè)8×8 CU需要對(duì)8種模式做變換、量化、反量化、反變換以及進(jìn)行RDO優(yōu)化計(jì)算，全部亮度幀內(nèi)預(yù)測(cè)編碼階段占據(jù)非常長(zhǎng)的周期。為了在硬件流水上提前搜索色度幀內(nèi)預(yù)測(cè)模式，考慮到色度幀內(nèi)預(yù)測(cè)共5種預(yù)測(cè)模式，且只有色度模式4采用對(duì)應(yīng)的亮度幀內(nèi)預(yù)測(cè)模式，其余4種色度模式為固定模式，又考慮到色度模式命中亮度幀內(nèi)預(yù)測(cè)模式的概率約70%，故而本文研究了可實(shí)現(xiàn)硬件流水線優(yōu)化的色度幀內(nèi)預(yù)測(cè)模式搜索優(yōu)化算法，綜合提出了六種不同的搜索優(yōu)化方案并進(jìn)行相互比較。這些方法如下：

(1)直接使用亮度最終模式LM作為色度最終模式。

(2)在亮度最終模式LM確定后，使用類似于亮度幀內(nèi)預(yù)測(cè)RMD階段的模式判決方法，選擇色度幀內(nèi)預(yù)測(cè)候選模式列表中基于哈達(dá)瑪變換的率失真代價(jià)JRMD最小的模式作為色度最終模式。

(3)在亮度幀內(nèi)預(yù)測(cè)RMD階段結(jié)束后，使用亮度RMD階段的最優(yōu)模式LRM(JRMD最小)代替亮度最終模式LM，構(gòu)建色度模式候選列表{Ψ，LRM}。針對(duì)N×N劃分模式，將調(diào)用8×8亮度PB的第一個(gè)4×4子塊在RMD階段的最優(yōu)模式作為L(zhǎng)RM；若LRM命中模式集Ψ中的一種時(shí)，將Ψ中對(duì)應(yīng)的模式替換為對(duì)角模式34。對(duì)所得到的色度模式候選列表{Ψ，LRM}中的5種模式分別進(jìn)行色度RMD，即進(jìn)行基于哈達(dá)瑪變換的率失真優(yōu)化模式判決，并選出色度最優(yōu)模式、次優(yōu)模式。最終，對(duì)比真正的亮度最優(yōu)模式LM與RMD階段的最優(yōu)模式LRM，進(jìn)行色度模式修正：如果LM=LRM，色度最優(yōu)模式保持不變；如果LM≠LRM，具體模式修正操作如表3所示。

表3 模式修正方法

為了保證解碼無誤，用亮度最終模式LM構(gòu)建真正的色度模式候選列表{Ψ，LM}，并將修正后的色度最優(yōu)模式與{Ψ，LM}相對(duì)比，確定最終色度幀內(nèi)預(yù)測(cè)模式編號(hào)。

(4)方案D與方案C的流程基本相同，區(qū)別在于針對(duì)N×N劃分模式，將調(diào)用整個(gè)8×8亮度PB在RMD階段的最優(yōu)模式作為L(zhǎng)RM。

(5)方案E針對(duì)8×8與非8×8尺寸的CU設(shè)定了兩套模式判決算法流程，如圖4所示。

圖4 方案E算法流程示意圖

①對(duì)于8×8尺寸的CU，按照方案C的流程進(jìn)行模式判決；

②對(duì)于其他尺寸的CU，首先選擇出模式集Ψ中基于哈達(dá)瑪變換的率失真代價(jià)JRMD最小的模式CRM。在亮度最終模式LM確定后，若LM=CRM，直接選取CRM作為最終的色度模式；若LM≠CRM，對(duì)模式LM和CRM進(jìn)行RDO模式判決，對(duì)比率失真代價(jià)再確定色度最終模式。

(6)方案F與方案E的流程基本相同，區(qū)別在于針對(duì)8×8尺寸的CU采用方案D進(jìn)行模式判決。

3 實(shí)驗(yàn)結(jié)果

本文采用了六個(gè)類別下共22個(gè)JCT-VC官方視頻測(cè)試序列，在AI配置下，分別基于BD-Rate和BD-PSNR指標(biāo)將以上六種色度幀內(nèi)預(yù)測(cè)模式搜索優(yōu)化方案與官方HM16.20模型進(jìn)行性能對(duì)比。為提升實(shí)驗(yàn)結(jié)果的準(zhǔn)確性，本次實(shí)驗(yàn)基于兩組不同的QP范圍對(duì)以上視頻測(cè)試序列進(jìn)行測(cè)試：在正常QP設(shè)置(nm)下，QP值分別取22、27、32、37；在高QP設(shè)置(lb)下，QP值分別取32、37、42、47。表4展示了在nm情況下，該六種方案與HM16.20模型的傳統(tǒng)色度幀內(nèi)預(yù)測(cè)模式搜索方案相比較的實(shí)驗(yàn)對(duì)比結(jié)果。表中性能數(shù)據(jù)BD-Rate和BD-PSNR均為各方案相較于HM16.20的變化量。

表4 正常QP(nm)下六種方案與HM16.20相比較的實(shí)驗(yàn)對(duì)比結(jié)果

綜合全部的測(cè)試序列，總結(jié)各方案分別在nm和lb設(shè)置下的平均測(cè)試性能如表5所示，并列舉了各方案在不同類別的典型視頻測(cè)試序列下的RDO擬合曲線如圖5所示。

表5 六種方案的平均測(cè)試性能數(shù)據(jù)總結(jié)

(a)ClassA/Traffic_2560×1600_30_crop-AI(b)ClassB/Kimono1_1920×1080_24-AI

通過不同視頻測(cè)試序列下的RDO擬合曲線，不難看出在同一視頻測(cè)試序列下各方案的RDO擬合曲線均幾乎重合，說明各方案對(duì)測(cè)試序列的類型依賴性較弱，性能趨向平穩(wěn)。由表5所示的各方案平均測(cè)試性能總結(jié)，可以看出各方案的性能相較于HM16.20均有不同程度的下降，但性能影響不大?？紤]到本文主要目的為在硬件流水上提前搜索色度幀內(nèi)預(yù)測(cè)模式，6種方案中只有方案C、D、E、F可以達(dá)到這種效果，而這4種方案中方案E的性能最好，故而最終選用方案E作為色度幀內(nèi)預(yù)測(cè)模式搜索優(yōu)化最優(yōu)方案。方案E的性能總結(jié)如表6所示。最后，通過在NCsim上進(jìn)行仿真得出：一個(gè)8×8 CU在使用原始HM幀內(nèi)預(yù)測(cè)算法的情況下，從啟動(dòng)亮度RDO判決到得到色度最終模式共需82個(gè)時(shí)鐘周期，而使用方案E后該過程僅需要60個(gè)時(shí)鐘周期，可節(jié)省22個(gè)時(shí)鐘周期。對(duì)于一個(gè)64×64尺寸的CTU則共可節(jié)省1408個(gè)時(shí)鐘周期，硬件流水線優(yōu)化效果顯著。

表6 色度幀內(nèi)預(yù)測(cè)模式搜索優(yōu)化最優(yōu)方案E性能總結(jié)

ClassD2.56511.3036-0.1119-0.0816ClassE3.11892.0569-0.1529-0.0987ClassF2.50301.4593-0.1895-0.1276

4 結(jié)語

本文提出了針對(duì)高性能視頻編碼器HEVC的色度幀內(nèi)預(yù)測(cè)模式搜索優(yōu)化算法的六種方案，并在不同類別的視頻測(cè)試序列下進(jìn)行性能測(cè)試。最終所選取的最優(yōu)算法方案與HM16.20相比性能影響非常小，但硬件流水線優(yōu)化效果顯著，可用于對(duì)高清視頻有實(shí)時(shí)編碼需求的編碼器硬件設(shè)計(jì)應(yīng)用中。