張文鑫

(上海海事大學(xué) 信息工程學(xué)院，上海 201306)

一種新的HEVC快速幀間預(yù)測(cè)單元模式判決算法

張文鑫

(上海海事大學(xué) 信息工程學(xué)院，上海 201306)

針對(duì)HEVC中幀間預(yù)測(cè)模式判斷所帶來(lái)的高復(fù)雜度計(jì)算，根據(jù)視頻時(shí)域上高度相關(guān)性的特點(diǎn)，提出了一種減少AMVP模式執(zhí)行次數(shù)的低計(jì)算復(fù)雜度的快速幀間預(yù)測(cè)模式判決的方法?；谙噜弾南嗤恢镁幋a單元(CU)的預(yù)測(cè)單元(PU)模式上的時(shí)域相關(guān)性，跳過(guò)當(dāng)前PU 模式選擇過(guò)程中一些冗余的AMVP模式的計(jì)算，以此來(lái)降低編碼的復(fù)雜度。實(shí)驗(yàn)結(jié)果表明，在編碼效率和峰值信噪比(PSNR)損失很小的情況下，比現(xiàn)有HEVC幀間預(yù)測(cè)算法減少了33.04%的編碼時(shí)間。

新一代高效視頻編碼；幀間預(yù)測(cè)；預(yù)測(cè)單元；AMVP模式；編碼時(shí)間

0 引言

高效視頻編碼技術(shù)(HEVC)是由視頻編碼聯(lián)合組發(fā)布的最新一代視頻編碼標(biāo)準(zhǔn)。HEVC 最重要的技術(shù)之一就是采用四叉樹劃分結(jié)構(gòu)，包括編碼單元(CU)、轉(zhuǎn)換單元(TU)、預(yù)測(cè)單元(PU)[1]。這個(gè)框架可以更加靈活、精準(zhǔn)地表示視頻對(duì)象，并且提供了一個(gè)清晰的層次結(jié)構(gòu)進(jìn)行優(yōu)化。最基本的編碼單元CU單元具有不同的大小 ，從最大尺寸的64×64不斷地遞歸細(xì)分成8×8。HM編碼器需要窮盡每一個(gè)CU節(jié)點(diǎn)上所有PU和TU的組合類型。PU是最基本的預(yù)測(cè)單元，它有不同的形狀去編碼不規(guī)則的圖形。在幀間編碼中，編碼器會(huì)選擇最合適的TU去轉(zhuǎn)換和量化?；谶@樣遞歸的編碼結(jié)構(gòu)使得HEVC 比AVC有著更高的編碼效率。但是，在選擇理想的TU、PU和CU尺寸時(shí)會(huì)增加許多運(yùn)算復(fù)雜度。而PU的模式選擇增加了最多的運(yùn)算復(fù)雜度，大概占了整個(gè)編碼時(shí)長(zhǎng)的69%[2]。因此，減少幀間預(yù)測(cè)編碼的時(shí)長(zhǎng)至關(guān)重要。

文獻(xiàn)[3]利用了相鄰PU在空間上的相關(guān)性，上側(cè)的PU決定幀間預(yù)測(cè)模式，并且只在選擇的幀間預(yù)測(cè)模式上進(jìn)行運(yùn)動(dòng)估計(jì)。這種方法只是考慮了相鄰塊之間空間上的相關(guān)性，并沒有考慮相鄰幀時(shí)域上的相關(guān)性。文獻(xiàn)[4]提出了一種快速的幀間預(yù)測(cè)模式選擇方法，即當(dāng)PU形狀為2N×2N并且最佳模式是SKIP模式時(shí)對(duì)當(dāng)前CU中不對(duì)稱分割PU的預(yù)測(cè)模式中不進(jìn)行AMVP的運(yùn)算[4]。盡管這種方法簡(jiǎn)單而且有效，但是當(dāng)2N×2N的PU沒有選擇SKIP 模式時(shí)依舊要進(jìn)行包括merge和AMVP 兩種模式的運(yùn)算?；谠谝曨l序列中幀與幀之間強(qiáng)烈的時(shí)域相關(guān)性，文獻(xiàn)[5]提出了一種快速的PU預(yù)測(cè)模式選擇的算法。它利用前一幀和當(dāng)前幀對(duì)應(yīng)CU之間強(qiáng)烈的時(shí)域相關(guān)性以及前一幀對(duì)應(yīng)幀周圍CU的PU模式來(lái)減少一些當(dāng)前CU中PU 的可能模式[5]。但是對(duì)于運(yùn)動(dòng)劇烈的序列，這種方法編碼效率要差很多。

1 HEVC中幀間預(yù)測(cè)模式判決以及判決算法的改進(jìn)

1.1幀間預(yù)測(cè)流程

在HEVC 中，PU的模式選擇是為了尋找到最佳的預(yù)測(cè)模式和分塊大小。圖1展示了在HEVC中PU模式選擇的必要流程。這里nN×nN代表的是不同大小的幀間預(yù)測(cè)單元PU，包括N×2N,2N×N,N×N以及不規(guī)則劃分的PU，AMVP 模式是HEVC中新的部分，AMVP模式需要發(fā)送運(yùn)動(dòng)矢量、參考圖像索引和最佳運(yùn)動(dòng)矢量與當(dāng)前運(yùn)動(dòng)矢量之間的殘差，需要大量的計(jì)算，因此執(zhí)行AMVP模式需要大量的編碼時(shí)間。

圖1 HEVC中PU模式選擇流程

Merge模式中當(dāng)前的PU通過(guò)Merge指針繼承了參考幀的運(yùn)動(dòng)矢量，它相當(dāng)于H.264中“skip”和“direct”模式。因此，在Merge模式中，不發(fā)送運(yùn)動(dòng)矢量和參考圖像索引。

在PU最佳預(yù)測(cè)模式選擇的過(guò)程中，運(yùn)動(dòng)估計(jì)(ME)是最復(fù)雜的部分，包括率失真計(jì)算(RD)和亞像素插值過(guò)程。常規(guī)ME的計(jì)算復(fù)雜性度比Merge高很多。換句話說(shuō)，AMVP過(guò)程的編碼時(shí)間比合并模式過(guò)程的時(shí)間多得多。表1顯示了不同類序列AMVP模式計(jì)算過(guò)程的時(shí)間成本在兩種不同配置下占整體編碼時(shí)間的比例，根據(jù)式(1)計(jì)算得到。

(1)

從表1可以看出，在兩類預(yù)測(cè)結(jié)構(gòu)隨機(jī)接入(RA)和低延遲(LD)的配置下，AMVP過(guò)程的編碼時(shí)間占用的總編碼時(shí)間超過(guò)一半。如果在一些PU預(yù)測(cè)模式判斷過(guò)程中可以減少AMVP模式的選擇，AMVP處理的編碼時(shí)間將減少，這樣總的編碼時(shí)間會(huì)減少。

1.2改進(jìn)的預(yù)測(cè)單元模式選擇流程

文獻(xiàn)[6]中提出了一種通過(guò)減少遍歷編碼深度范圍的方法來(lái)快速尋找到最佳的編碼單元深度。該方法表明了當(dāng)前的編碼單元與相鄰的編碼單元在時(shí)空上具有很大的相似性[6]。表2表明，當(dāng)前幀CU與前一幀中對(duì)應(yīng)CU深度之間的相關(guān)性。因?yàn)檫\(yùn)動(dòng)劇烈的序列BQSquare中CU的大小常常是8×8和16×16，而運(yùn)動(dòng)比較平緩的 Vidyo1 序列中CU塊的大小常常是64×64和32×32[7]，它們被用來(lái)表明當(dāng)前幀CU和參考幀對(duì)應(yīng)CU之間的相關(guān)性。

從表2可以發(fā)現(xiàn)，當(dāng)前幀中的CU與前一幀中對(duì)應(yīng)位置的CU確實(shí)存在極大的相關(guān)性。在運(yùn)動(dòng)劇烈的測(cè)試序列中前一幀比當(dāng)前幀中編碼單元的尺寸大的概率為78.61%，而在運(yùn)動(dòng)平緩的測(cè)試序列中這一概率為89.38%[8]。以此為依據(jù)以及當(dāng)前編碼單元與前一幀中相應(yīng)位置編碼單元中PU預(yù)測(cè)模式的相關(guān)性來(lái)跳過(guò)PU模式?jīng)Q策過(guò)程中一些不必要的AMVP模式的計(jì)算。

表2 相鄰幀之間CU單元的時(shí)域相關(guān)性

此外，表2顯示，在運(yùn)動(dòng)劇烈的測(cè)試序列中當(dāng)前幀中編碼單元的尺寸為8×8，并且前一幀對(duì)應(yīng)編碼單元的尺寸為64×64所占比例為0.492 5%，在運(yùn)動(dòng)平緩序列中該比例為0.133 6%。因此，針對(duì)這些CU可以跳過(guò)幀間PU模式判定。

首先，測(cè)試序列的第一幀采用標(biāo)準(zhǔn)中的PU預(yù)測(cè)模式判決的方法，而在剩下的幀中本文采用所提出的新算法進(jìn)行PU預(yù)測(cè)模式的判斷。

通過(guò)RCU的不同取值自適應(yīng)地選取候選PU模式。根據(jù)RCU的取值范圍分為3種情況討論候選PU模式的選取，如圖2所示。

圖2 本文整體算法流程

(1)RCU<1，即當(dāng)前編碼CU尺寸大于參考幀中對(duì)應(yīng)位置CU尺寸，即當(dāng)前編碼CU尺寸大于前一幀中相應(yīng)位置CU尺寸。在這種情況下，當(dāng)前CU單元有極大的可能性(運(yùn)動(dòng)劇烈序列中78.61%，運(yùn)動(dòng)平緩序列中89.38%)會(huì)被劃分成更小的編碼單元。因此，如果PU的最佳模式不是跳躍模式即不滿足2N×2N和幀間融合模式，則對(duì)nN×nN(包括N×2N，2N×N，N×N和不對(duì)稱子分區(qū))尺寸的PU進(jìn)行標(biāo)準(zhǔn)中的模式判決的算法。

(2)1

(3)RCU=8時(shí)，即當(dāng)前幀中編碼單元的尺寸為8×8并且前一幀對(duì)應(yīng)編碼單元的尺寸為64×64。直接跳過(guò)幀間預(yù)測(cè)模式進(jìn)入幀內(nèi)預(yù)測(cè)模式。

2 實(shí)驗(yàn)平臺(tái)與仿真結(jié)果分析

該算法是在HM10.0 實(shí)現(xiàn)。本文選擇3個(gè)高分辨率序列：A類、B類、E類。由于這3個(gè)高分辨率序列與兩個(gè)小尺寸的序列C類和D類相比當(dāng)前CU和前一幀對(duì)應(yīng)位置CU大小有比較高的相關(guān)性，通過(guò)使用兩類幀間預(yù)測(cè)結(jié)構(gòu)來(lái)對(duì)這3個(gè)高分辨率序列進(jìn)行測(cè)試。實(shí)驗(yàn)結(jié)果列于表3中。差分比特率和編碼的計(jì)算復(fù)雜度降低用于評(píng)價(jià)編碼性能，其中后者是由平均節(jié)省時(shí)間(AST)表示，如下式：

表3 實(shí)驗(yàn)結(jié)果統(tǒng)計(jì)

從表3可以看出，在RA配置上所提出的算法編碼時(shí)間減少38.05%的同時(shí)平均只有0.87%的比特率增量，在LD配置僅1.29%的比特率增量而編碼時(shí)間減少33.04%。 在RA配置信噪比僅下降了0.027%，而在LD配置時(shí)信噪比僅下降了0.033%。當(dāng)與在相同的結(jié)構(gòu)不同類的序列比較時(shí)，該算法能夠在編碼效果下降很小的情況下極大地增加編碼效率，減少編碼時(shí)間。

文獻(xiàn)[3]算法在RA配置時(shí)，編碼時(shí)間減少27%而比特率上升0.95%。與文獻(xiàn)[3]的算法相比本文的時(shí)間節(jié)省更多而有更小的比特率。相比文獻(xiàn)[4]的方法，雖然本文算法的比特率增加較多，但是能減少更多的編碼時(shí)間。

3 結(jié)論

本文利用當(dāng)前幀中CU尺寸大小與參考幀中CU尺寸大小在時(shí)域上的相關(guān)性來(lái)減少PU幀間模式選擇過(guò)程中AMVP模式的計(jì)算。如果參考幀中CU的尺寸大于或者等于當(dāng)前幀中CU的尺寸，那就先跳過(guò)其PU預(yù)測(cè)模式中的AMVP模式的計(jì)算，而后只對(duì)不符合跳過(guò)條件的PU進(jìn)行AMVP模式的計(jì)算。仿真結(jié)果表明，在比特率略有上升的情況下極大地減少了編碼時(shí)間。

[1] LI B, SULLIVAN G J, XU J. Compression performance of high efficiency video coding (HEVC) working draft 4[C]. IEEE International Symposium on Circuits and Systems. IEEE, 2012:886-889.

[2] HAN W J, MIN J, KIM I K, et al. Improved video compression efficiency through flexible unit representation and corresponding extension of coding tools[J]. IEEE Transactions on Circuits & Systems for Video Technology,2010,20(12):1709-1720.

[3] LEE A, JUN D S, KIM J, et al. An efficient inter prediction mode decision method for fast motion estimation in HEVC[C]. International Conference on ICT Convergence.IEEE,2013:502-505.

[4] YANG S, LEE H, SHIM H J, et al. Fast inter mode decision process for HEVC encoder[C]. Ivmsp Workshop, 2013 IEEE. IEEE, 2013:1-4.

[5] PARK C S, KIM B G, HONG G S, et al. Fast coding unit (CU) depth decision algorithm for high efficiency video coding (HEVC)[M]. Advances in Computer Science and its Applications. Springer Berlin Heidelberg, 2014:293-299.

[6] PARK C, KIM B G, HONG G S, et al. Fast coding Unit (CU) depth decision algorithm for high efficiency video coding (HEVC)[J]. Lecture Notes in Electrical Engineering, 2014, 279:293-299.

[7] LI Y, HE X H, ZHONG G Y, et al. A fast inter-frame prediction unit mode decision algorithm for high efficiency video coding based on temporal correlation[J]. Journal of Electronics & Information Technology, 2014, 35(10):2365-2370.

[8] ZHANG Y, WANG H, LI Z. Fast coding unit depth decision algorithm for interframe coding in HEVC[C]. Data Compression Conference, IEEE, 2013: 53-62.

[9] BJONTEGAARD G. Calculation of average PSNR differences between RD-curves[C]. ITU-T VCEG-M33, April, 2001, 2001.

A new inter-frame prediction unit mode decision alogrithm based ontemporal correlation for HEVC

Zhang Wenxin

(College of Information Engineering, Shanghai Maritime University, Shanghai 201306, China)

In order to reduce the computational complexity load in inter-frame prediction coding of High Efficiency Video Coding(HEVC), a fast inter-frame prediction mode decision was proposed by reducing the number of operations of the Advanced Motion Vector Prediction (AMVP) mode .We can skip some unnecessary operations of AMVP based on that the current frame’s PU mode may be same with the reference frame’s for the same location. The experimental results show that the proposed method can save 33.04% of coding time compared with the original algorithm for HEVC under the condition of minimal loss of coding efficiency and PSNR.

High Efficiency Video Coding(HEVC); inter-prediction; Prediction Unit (PU); Advanced Motion Vector Prediction (AMVP); encoding time

XX

：A

10.19358/j.issn.1674- 7720.2017.17.012

張文鑫.一種新的HEVC快速幀間預(yù)測(cè)單元模式判決算法[J].微型機(jī)與應(yīng)用，2017,36(17)：42-44.

2017-03-07)

張文鑫(1993-)，男，碩士，主要研究方向：HEVC幀間預(yù)測(cè)中Merge模式。