崔巖松,趙佳瑜,任維政
(北京郵電大學(xué)智能交通信息與網(wǎng)絡(luò)技術(shù)實(shí)驗(yàn)室,北京100876)
HEVC/H.265視屏編解碼標(biāo)準(zhǔn)是新一代視頻編解碼國(guó)際標(biāo)準(zhǔn),由ISO與ITU共同制定,它主要是為在保證視頻質(zhì)量的情況下提高壓縮率、降低網(wǎng)絡(luò)帶寬,支持更大的視頻尺寸,更精細(xì)的編碼控制,用于對(duì)視頻要求更高的場(chǎng)合[1-2]。但是,HEVC由于其復(fù)雜度高,很難具有實(shí)用的效果,所以必須進(jìn)行優(yōu)化加速。本文以研究HEVC標(biāo)準(zhǔn)為基礎(chǔ),在加深HEVC標(biāo)準(zhǔn)理解的基礎(chǔ)上,著手對(duì)測(cè)試模型HM進(jìn)行優(yōu)化加速。
和現(xiàn)有的視頻編碼標(biāo)準(zhǔn)類似[3],HEVC保留混合編碼的基本體系結(jié)構(gòu)[4-5]。一個(gè)顯著的區(qū)別在于用類似四叉樹(quadtree)的結(jié)構(gòu)替代了傳統(tǒng)的宏塊(macroblock)[6]。HEVC編碼流程可分解為預(yù)測(cè)、變換、量化和熵編碼4部分[7]。預(yù)測(cè)部分將對(duì)編碼器性能產(chǎn)生很大的影響[1]。預(yù)測(cè)分為幀間預(yù)測(cè)(inter prediction),和幀內(nèi)預(yù)測(cè)(intra prediction)[1],幀內(nèi)預(yù)測(cè)消除視頻序列的空間相關(guān)性,用于編碼I幀圖像[8-9],幀間預(yù)測(cè)消除視頻序列的時(shí)間相關(guān)性,用于編碼P幀圖像[8,10]。其中,幀間預(yù)測(cè)的大致流程為:輸入像素塊與前一幀參考幀進(jìn)行運(yùn)動(dòng)估計(jì)后[11-12],先進(jìn)行整像素運(yùn)動(dòng)估計(jì)、分像素內(nèi)插和分像素運(yùn)動(dòng)估計(jì),產(chǎn)生運(yùn)動(dòng)矢量,之后對(duì)已獲得的運(yùn)動(dòng)矢量進(jìn)行運(yùn)動(dòng)補(bǔ)償?shù)玫筋A(yù)測(cè)數(shù)據(jù)塊[1,13]。所以相比幀內(nèi)預(yù)測(cè),幀間預(yù)測(cè)消除的時(shí)間相關(guān)性對(duì)視頻壓縮的壓縮比有很大的關(guān)聯(lián)[14]。本文主要對(duì)整像素運(yùn)動(dòng)估計(jì)所采用的算法進(jìn)行優(yōu)化。
HEVC中快速運(yùn)動(dòng)的估計(jì)首先進(jìn)行整像素運(yùn)動(dòng)估計(jì),運(yùn)用搜索模板找到最佳匹配的整像素點(diǎn);之后進(jìn)行分像素內(nèi)插,再進(jìn)行分像素運(yùn)動(dòng)估計(jì),在整像素運(yùn)動(dòng)估計(jì)所找到的最佳匹配點(diǎn)的周圍進(jìn)行,檢測(cè)其1/2和1/4像素點(diǎn),找到最佳匹配的分像素點(diǎn),主要通過(guò)調(diào)用底層的函數(shù)來(lái)實(shí)現(xiàn)[16]。整像素運(yùn)動(dòng)估計(jì)得到的是運(yùn)動(dòng)矢量的整像素值,決定了運(yùn)動(dòng)矢量的大致方向,因此,對(duì)其進(jìn)行優(yōu)化是十分必要的。
本文主要針對(duì)整像素運(yùn)動(dòng)估計(jì)采用的EPZS算法進(jìn)行優(yōu)化。HEVC沿用了H.264/AVC的EPZS作為默認(rèn)的快速運(yùn)動(dòng)估計(jì)算法。該算法主要由運(yùn)動(dòng)矢量選擇、提前終止策略、運(yùn)動(dòng)矢量提取3部分組成。文獻(xiàn)中測(cè)試顯示,EPZS算法比全搜索算法加速比最大達(dá)6倍[15],且能保證良好的壓縮性能和圖像質(zhì)量。HEVC整像素運(yùn)動(dòng)估計(jì)中采用的EPZS算法可以簡(jiǎn)述為:在大小為64×64的搜索框中,使用步長(zhǎng)(l)從1開始,以2的指數(shù)遞增的8點(diǎn)菱形搜索,當(dāng)SAD小于設(shè)定的閾值時(shí)停止搜索,得到運(yùn)動(dòng)矢量。在快速算法中,不同類型和尺寸的搜索模板一定程度上決定了搜索的效果。根據(jù)視頻序列的中心偏移性(MVD),其運(yùn)動(dòng)矢量分布通常集中在搜索窗的中心位置附近,即大多數(shù)圖像序列的運(yùn)動(dòng)都是平穩(wěn)和緩慢的。8點(diǎn)菱形搜索適合搜索步長(zhǎng)適中的點(diǎn),對(duì)于搜索步長(zhǎng)較小的點(diǎn)或較大的點(diǎn),得到的搜索效果并不理想。因此,應(yīng)該更改開始和提前終止的策略,優(yōu)化搜索模板。
為此,在提出運(yùn)動(dòng)矢量搜索優(yōu)化算法之前,需要統(tǒng)計(jì)現(xiàn)實(shí)序列運(yùn)動(dòng)矢量的分布,根據(jù)統(tǒng)計(jì)結(jié)果進(jìn)行類型劃分和調(diào)整搜索模板,減少搜索次數(shù)和運(yùn)動(dòng)估計(jì)計(jì)算量。由于搜索終止步長(zhǎng)分布可以間接反映運(yùn)動(dòng)矢量分布情況,且數(shù)據(jù)易于得到、統(tǒng)計(jì)方便,本文模板優(yōu)化的依據(jù)為搜索終止步長(zhǎng)的統(tǒng)計(jì)分布。
通過(guò)測(cè)試得到176×144(qcif)測(cè)試序列搜索終止步長(zhǎng)的統(tǒng)計(jì)分布和176×144(qcif)測(cè)試序列搜索終止步長(zhǎng)的統(tǒng)計(jì)分布,如表1和表2所示。
表1 176×144(qcif)測(cè)試序列搜索終止步長(zhǎng)的統(tǒng)計(jì)百分比 %
表2 1 920×1 080(class E)測(cè)試序列搜索終止步長(zhǎng)的統(tǒng)計(jì)百分比 %
根據(jù)以上分析,提出一種EPZS優(yōu)化算法及搜索模板,搜索模板見(jiàn)圖1。搜索框尺寸保持默認(rèn)值64,調(diào)整的EPZS搜索點(diǎn)為3類:4點(diǎn)的菱形搜索,8點(diǎn)的菱形搜索和16點(diǎn)的菱形搜索。當(dāng)步長(zhǎng)小于2時(shí)使用4點(diǎn)菱形搜索模板,如圖1a所示;當(dāng)步長(zhǎng)在2~4時(shí)使用8點(diǎn)菱形搜索模板,如圖1b所示;當(dāng)步長(zhǎng)大于8時(shí)使用精度大的16點(diǎn)菱形搜索模板,如圖1c所示。開始整像素運(yùn)動(dòng)估計(jì)算法之后,從距離為1開始對(duì)起始搜索點(diǎn)附近的點(diǎn)進(jìn)行搜索,每次搜索步長(zhǎng)以2的冪次增長(zhǎng),每次搜索根據(jù)步長(zhǎng)選擇對(duì)應(yīng)的模板。即4點(diǎn)菱形搜索只是搜索距離為1時(shí)的搜索模板,8點(diǎn)菱形搜索是搜索距離為2,4,8的時(shí)的搜索模板,16點(diǎn)菱形搜索是搜索距離為16,32,64的時(shí)候的搜索模板。
圖1 4點(diǎn)、8點(diǎn)和16點(diǎn)菱形搜索模板
根據(jù)優(yōu)化算法,對(duì)測(cè)試模型HM進(jìn)行優(yōu)化,并使用不同格式的視頻序列對(duì)優(yōu)化后的編碼器進(jìn)行了測(cè)試,下面給出了尺寸為176×144(qcif)和1 920×1 080(class E)的幾個(gè)視頻序列的測(cè)試結(jié)果。
測(cè)試視頻序列配置如下:測(cè)試序列尺寸為176×144(qcif),編碼幀數(shù)為60幀,幀率為155 f/s(幀/秒),序列比特深度為8;測(cè)試視頻序列尺寸為1 920×1 080(classE),編碼幀數(shù)為5,幀率為25 f/s,序列比特深度為8。
表3顯示了尺寸176×144(qcif)測(cè)試視頻序列優(yōu)化前后比較結(jié)果,其中編碼幀數(shù)60,幀率5 f/s,序列比特深度為8。
表3 176×144格式圖像編碼優(yōu)化測(cè)試前后的性能變化 %
表4顯示了尺寸1 920×1 080(class E)測(cè)試視頻序列優(yōu)化前后比較結(jié)果,其中編碼幀數(shù)60,幀率5 f/s,序列比特深度為8。
表4 1 920×1 080格式圖像編碼優(yōu)化測(cè)試前后性能變化百分比 %
根據(jù)表3和表4,可以得到結(jié)論如下:
對(duì)于尺寸為176×144測(cè)試視頻序列,優(yōu)化后,對(duì)于視頻質(zhì)量的客觀值,亮度分量Y平均下降0.005 0 dB,色度分量U平均下降0.043 4 dB,色度分量V平均下降0.072 6 dB,編碼后碼流比特率最多上升2.21%,耗時(shí)最少下降3.03%。
對(duì)于尺寸為1 920×1 080測(cè)試視頻序列,優(yōu)化后,對(duì)于視頻質(zhì)量的客觀值,亮度分量Y平均上升0.008 1 dB,色度分量U平均下降0.014 9 dB,色度分量V平均下降0.047 7 dB,編碼后碼流比特率最多上升0.40%,耗時(shí)最少下降1.25%。
因此,可以確定該算法對(duì)尺寸為176×144和1 920×1 080視頻序列的編碼實(shí)現(xiàn)了優(yōu)化。在保證視頻質(zhì)量不變和編碼后碼流略微上升的前提下,降低了編碼耗時(shí),且在每一次視頻序列測(cè)試中,編碼耗時(shí)下降程度超過(guò)了編碼后比特率的上升程度。
[1] SULLIVAN G,OHM J,HAN W,et al.Overview of the high efficiency video coding(HEVC)Standard [J].IEEE Trans.Circuits and Systems for Video Technology,2012,12(22):1649-1668.
[2] ZHOU M,GAO W,JIANG M,et al.HEVC lossless coding and improvements[J].IEEE Trans.Circuits and Systems for Video Technology,2012,12(22):1839-1843.
[3] OHM J,SULLIVAN G,SCHWARZ H,et al.Comparison of the coding efficiency of video coding standards-including high efficiency video coding(HEVC)[J].IEEE Trans.Circuits and Systems for Video Technology,2012,12(22):1669-1684.
[4] KIM I,MIN J,LEE T,et al.Block partitioning structure in the HEVCstandard [J].IEEE Trans.Circuits and Systems for Video Technology,2012,12(22):1697-1706.
[5] High efficiency video coding[EB/OL].[2014-06-05].http://en.wikipedia.org/wiki/High_Efficiency_Video_Coding.
[6] HELLE P,OUDIN S,BROSSB,et al.Block merging for quadtreebased partitioning in HEVC[J].IEEE Trans.Circuits and Systems for Video Technology,2012,12(22):1720-1731.
[7] OHM J,SULLIVAN G,WIEGAND T,et al.Introduction to the special section on the HEVC standard [J].IEEE Trans.Circuits and Systems for Video Technology,2012,12(22):1647-1648.
[8]林福宗.多媒體技術(shù)教程[M].北京:清華大學(xué)出版社,2009.
[9] LAINEMA J,BOSSEN F,HAN W,et al.Intra coding of the HEVC standard [J].IEEE Trans.Circuits and Systems for Video Technology,2012,12(22):1792-1801.
[10] KAMP S,WIEN M.Decoder-side motion vector derivation for block-based video coding[J].IEEE Trans.Circuits and Systems for Video Technology,2012,12(22):1732-1745.
[11] LI H,LI B,XU J.Rate-distortion optimized reference picture management for high efficiency video coding[J].IEEE Trans.Circuits and Systems for Video Technology,2012,12(22):1844-1857.
[12] SJOBERG R,CHEN Y,F(xiàn)UJIBAYASHI A,et al.Overview of HEVC high-level syntax and reference picture management[J].IEEE Trans.Circuits and Systems for Video Technology,2012,12(22):1858-1870.
[13] YUAN Y,KIM I,ZHENG X,et al.Quadtree based nonsquare block structure for inter frame coding in high efficiency video coding[J].IEEE Trans.Circuits and Systems for Video Technology,2012,12(22):1707-1719.
[14] BOSSEN F,BROSS B,SüHRING K,et al.HEVC complexity and implementation analysis[J].IEEE Trans.Circuits and Systems for Video Technology,2012,12(22):1685-1696.
[15]徐榮飛.HEVC編解碼算法的CUDA優(yōu)化[D].北京:北京郵電大學(xué),2013
[16] CHI C,ALVAREZ-MESA M,JUURLINK B,et al.Parallel scalability and efficiency of HEVC parallelization approaches[J].IEEE Trans.Circuits and Systems for Video Technology,2012,12(22):1827-1838.