尹其文
(上海海事大學(xué) 信息工程學(xué)院,上海 201306)
SHVC中幀內(nèi)預(yù)測快速算法的研究
尹其文
(上海海事大學(xué) 信息工程學(xué)院,上海201306)
可分級高效視頻編碼(SHVC)可實現(xiàn)對視頻序列的分層編碼,正是因為實現(xiàn)了分層編碼,編碼的時間復(fù)雜度也會大大增加,尤其是在幀內(nèi)預(yù)測過程中,需要從35種模式中通過率失真優(yōu)化(RDO)選出最佳預(yù)測模式。為了加速增強層(EL)幀內(nèi)預(yù)測模式的決策進(jìn)程,基于當(dāng)前預(yù)測單元(PU)與基本層(BL)相同位置PU,以及與BL中相同位置或EL中當(dāng)前PU空間上相鄰的PU的幀內(nèi)預(yù)測模式的相關(guān)性,提出幀內(nèi)預(yù)測模式快速決策算法。實驗結(jié)果表明:在保證視頻質(zhì)量基本不變的情況下,相比較于SHVC的標(biāo)準(zhǔn)SHM-9.0而言,能減少大約40%~50%的時間。
SHVC;BL;EL;PU;相關(guān)性
可伸縮視頻編碼已經(jīng)被研究并標(biāo)準(zhǔn)化20多年了,但是可伸縮視頻編碼從來沒有像非可伸縮視頻編碼一樣被廣泛商業(yè)化,即使對它的研究已經(jīng)很成熟,但在商用時還是處處受限,其主要的原因在于其實現(xiàn)的復(fù)雜度。非可伸縮視頻編碼實現(xiàn)起來較簡單,并且易懂,不需要繁瑣的上采樣或下采樣的流程和多層編碼機制。相比非可伸縮視頻編碼,可伸縮視頻編碼的實現(xiàn)要困難得多。因為可伸縮視頻編碼提供了把視頻編碼成多層的機制,其中每一層是在相同場景下不同質(zhì)量的代表。BL代表最低質(zhì)量層,只有唯一的一個,通過參考BL可以編碼一個或者多個EL,往后每一個EL代表更高層次的視頻質(zhì)量,以此來一步步提升視頻的質(zhì)量??缮炜s視頻編碼的優(yōu)點在于不管是將視頻序列編碼成多少層,傳輸碼流的方式還是一樣的,將不同層的碼流融入進(jìn)一支碼流中,在解碼端,可以根據(jù)不同的網(wǎng)絡(luò)和硬件設(shè)備條件,來提取其中所需的碼流。但是正是因為將視頻編碼成多層,每一層都需要用到幀內(nèi)預(yù)測和幀間預(yù)測,尤其是在幀內(nèi)預(yù)測時,每一個PU在進(jìn)行幀內(nèi)預(yù)測時都需要從35種模式中選出一種最佳預(yù)測模式,因此時間復(fù)雜度也大大增加。
高效視頻編碼(HEVC)[1-2]的第二版本主要分為:SHVC[3-4]、3D-HEVC、MV-HEVC,其中3D-HEVC更適用于深度圖的編碼,MV-HEVC更適合于多視點編碼,而SHVC是可伸縮編碼,可以廣泛應(yīng)用于網(wǎng)絡(luò)不穩(wěn)定、帶寬不夠或者終端設(shè)備差異性較大情況下的編碼,其應(yīng)用范圍相對于其他兩個來說更廣。
在SHVC的發(fā)展過程中,吸取了以前的經(jīng)驗教訓(xùn),改變了常規(guī)可伸縮視頻編碼的模式,重復(fù)利用多個單層HEVC核和僅改變高層語法的HEVC*編碼器來實現(xiàn)可伸縮視頻編碼架構(gòu)。這樣一來,在可伸縮視頻編碼的架構(gòu)中,可以在技術(shù)改進(jìn)很小的情況下去實現(xiàn)可伸縮編碼。SHVC的編碼架構(gòu)中,BL使用的是HEVC編碼器或AVC[5-6]編碼器,在EL中使用的是HEVC*編碼器,所謂HEVC*編碼器,也就是對HEVC編碼器進(jìn)行了高層語法的改動之后形成的編碼器,用于編碼除BL外的所有EL,這些高層語法改動用以通知有關(guān)層依賴性的必要信息。因此,SHVC一問世,就受到了廣大專家的推崇與認(rèn)可,其商用價值也是最被看好的。雖然SHVC目前還沒有大量應(yīng)用于實際當(dāng)中,但是其所采用的各項新技術(shù)已經(jīng)預(yù)示著SHVC將會成為取代HEVC的主流多媒體編碼標(biāo)準(zhǔn)。
SHVC是目前視頻壓縮編碼研究中的一塊熱領(lǐng)域。它繼承了HEVC的35種幀內(nèi)預(yù)測模式,如圖1所示,其中包括33種角度模式、一種DC模式和一種PLANAR模式。對于每一層中的每一個PU,SHVC標(biāo)準(zhǔn)都會依次實施這35種模式(如圖1),然后對其結(jié)果進(jìn)行率失真優(yōu)化(RDO)[7]選出該幀圖像的EL中此PU的最佳幀內(nèi)預(yù)測模式。這相比較于AVC或者HEVC來說,復(fù)雜度大大增加,時間性能下降。因此,為了在保證視頻質(zhì)量和良好的用戶體驗的基礎(chǔ)上,改善SHVC的時間性能,出現(xiàn)了一系列的幀內(nèi)預(yù)測快速算法。
圖1 35種幀內(nèi)預(yù)測模式
文獻(xiàn)[8-9]提出了對SVC幀內(nèi)預(yù)測的快速決策算法,算法總體思想就是根據(jù)BL和EL的相關(guān)性來減少EL幀內(nèi)預(yù)測的候選模式,但是由于SVC與SHVC的幀內(nèi)預(yù)測的模式不相同,SHVC的角度模式進(jìn)一步細(xì)化了,因此此類算法無法應(yīng)用于SHVC,但是此類算法利用BL與EL的相關(guān)性的思想可以加以借鑒。
文獻(xiàn)[10-11]提出了對HEVC的快速決策算法,應(yīng)用提出CU分割決策方案來跳過一些不必要的CU位深查詢。這類跳過算法是基于對當(dāng)前CU或時間或空間上相鄰的CU的位深的分析來提出的。SHVC中,可以利用BL的CU位深來快速選出EL的CU大小。
文獻(xiàn)[12-14]提出了針對SHVC幀內(nèi)預(yù)測的快速算法,文獻(xiàn)[12]是在EL中僅僅對同位BL的幀內(nèi)預(yù)測模式及其相鄰的幀內(nèi)模式進(jìn)行RDO來得出最佳預(yù)測方案,這種方案的明顯缺陷在于無法保證預(yù)測模式的多樣性,但是可以在EL中利用同位BL的幀內(nèi)預(yù)測模式的信息;文獻(xiàn)[13]和文獻(xiàn)[14]都提出了一種由粗到精的幀內(nèi)預(yù)測模式?jīng)Q策方案,都是首先按照某種算法從35種幀內(nèi)預(yù)測模式中選出幾種,然后對其進(jìn)一步精確化,最后得出最佳的模式。
總言之,以前的各種算法各有其優(yōu)缺點,都可以在時間性能上得到改善,但是可能會造成其他方面的缺陷,比如PSNR的大幅度降低,或者BD-rate的大幅度減小,又或者沒有充分利用空間上相鄰的PU的模式相似性,這些都會影響視頻本身的質(zhì)量或者沒有充分節(jié)省時間。
事實上,BL的圖像是按照一定的縮放因子從EL進(jìn)行下采樣獲得的,因此,BL與EL的圖像具有相似的紋理和結(jié)構(gòu)信息[15-16]。有理由相信,EL與BL的PU分割方式是非常相似的,因此,大膽推測EL與BL中同位置PU的幀內(nèi)預(yù)測模式(BLM)是相似的。表1的數(shù)據(jù)表明,這種推測是合理的,其中BLM-1表示與BLM模式左邊相鄰的模式,其他的以此類推。特別說明,沒有將PLANAR模式和DC模式作為統(tǒng)計考慮的對象,因為它們不是角度模式,沒有相鄰模式。
表1 空間可伸縮下EL的PU與BL中相同位置的PU的幀內(nèi)預(yù)測模式的相關(guān)性 (單位:%)
此外還用到了EL中與當(dāng)前PU空間上相鄰的PU的幀內(nèi)預(yù)測模式(ELM)的相關(guān)性,將其作為候選模式的其中一個要素,假定當(dāng)前PU左邊有兩個PU塊,幀內(nèi)預(yù)測模式分別為:ELM左、ELM左上,上邊有兩個PU塊,預(yù)測模式分別為:ELM上中、ELM上右。表2表明,其邏輯是合理的。
表2 空間可伸縮下EL的當(dāng)前PU與EL中空間相鄰的PU的幀內(nèi)預(yù)測模式的相關(guān)性 (單位:%)
另外,還用到了與BL中相同位置PU空間上相鄰的PU的幀內(nèi)預(yù)測模式(BLM)的相關(guān)性,作為候選模式的另外一個要素,同樣假定BL中同位置PU左邊有兩個PU塊,幀內(nèi)預(yù)測模式分別為:BLM左、BLM左上,上邊有兩個PU塊,預(yù)測模式分別為:BLM上中、BLM上右。表3表明,該邏輯是合理的。
表3 空間可伸縮下EL的當(dāng)前PU與BL中同位置空間相鄰的PU的幀內(nèi)預(yù)測模式的相關(guān)性 (單位:%)
基于對以上數(shù)據(jù)和其他各種快速算法的整理與分析,本文利用EL中當(dāng)前PU與BL中同位置PU,以及與BL中相同位置或EL中當(dāng)前PU空間上相鄰的PU的幀內(nèi)預(yù)測模式的相關(guān)性提出自己的算法,流程圖如圖2,提出的算法包括以下幾個步驟:
(1)根據(jù)PU的紋理與結(jié)構(gòu)信息,計算33種角度模式的Hadamard變換的絕對值差和(SATD),然后根據(jù)SATD的大小排序得出SATD排序中較小的5種幀內(nèi)預(yù)測模式;
表4 空間可伸縮下視頻序列的R-D性能、時間復(fù)雜度減少以及比特率(SHM標(biāo)準(zhǔn)與本文提出的算法)
(2)對這5種幀內(nèi)預(yù)測模式的相鄰模式(相鄰模式最多可能10種)計算出SATD;
(3)對PLANAR、DC、BLM模式計算出SATD;
(4)找出同位BL的PU塊的左邊和上方相鄰PU塊的預(yù)測模式(BLM左、BLM左上、BLM上中、BLM上右),計算出SATD;
(5)找出EL中當(dāng)前PU塊的左邊和上方相鄰PU塊的預(yù)測模式(ELM左、ELM左上、ELM上中、ELM上右),計算出SATD;
(6)對上述5個步驟的結(jié)果的SATD進(jìn)行排序生成一個長度為N的序列;
(7)對N個候選模式分別進(jìn)行RDO,RDO最小的即為最佳候選模式。
圖2 本文提出的幀內(nèi)預(yù)測算法流程圖
本方案仿真是實驗室環(huán)境,采用Win10系統(tǒng),4 GB內(nèi)存,CPU為i7-5500U的計算機,安裝的軟件是Microsoft Visual Studio 2010,從八大類序列中抽取了七大類(CGS一般用于色域可伸縮情況),每類中抽取1~2個測試序列,所有序列均為4:2:0YUV序列,分別為BasketballDrive,最高分辨率為1 920×1 080; BQTerrace,最高分辨率為1 920×1 080;Cactus,分辨率為1 920×1 080;Kimono,最高分辨率為1 920×1 080;ParkScene,最高分辨率為1 920×1 080;PeopleOnStreet,最高分辨率為2 560×1 600;Traffic,最高分辨率為2 560×1 600。其中只有PeopleOnStreet和Traffic沒有2x配置文件,其他的均是采用了1.5x和2x兩種配置文件來進(jìn)行仿真的。特別說明,其中最高分辨率指的是EL的分辨率,對其進(jìn)行下采樣之后可以得到相應(yīng)的BL的分辨率。
為了驗證提出的算法的合理性,基于以上基礎(chǔ),采用的代碼為SHM-9.0,嚴(yán)格按照J(rèn)CT-VC[17]提出的共同測試環(huán)境。
實驗結(jié)果如表4所示。
注:(1)
(1)
Tproposed為本文提出算法的時間,TSHM為SHM-9.0標(biāo)準(zhǔn)算法的時間。
(2)
PSNR=PSNRproposed-PSNRSHM
(2)
PSNRproposed為本文提出算法的PSNR,PSNRSHM為SHM標(biāo)準(zhǔn)算法的PSNR。
從表4的結(jié)果可以看出,本文提出的算法與SHVC標(biāo)準(zhǔn)SHM-9.0相比,在保證視頻質(zhì)量基本不變或者降低很微小的前提下,實現(xiàn)時間大幅度減少。相比較于SHVC的標(biāo)準(zhǔn)SHM-9.0而言,對1.5x序列PSNR的平均降低控制在0.08 db內(nèi),平均時間達(dá)到了45.9%的減少;對2x序列,PSNR平均降低了0.06 db,實現(xiàn)了平均時間43.7%的減少。
本文提出的針對幀內(nèi)預(yù)測模式的快速算法,其原理是基于當(dāng)前PU與BL相同位置PU,以及與BL中相同位置或EL中當(dāng)前PU空間上相鄰的PU的幀內(nèi)預(yù)測模式的相關(guān)性。仿真結(jié)果表明:在保證視頻質(zhì)量基本不變的情況下,相比較于SHVC的標(biāo)準(zhǔn)SHM-9.0而言,能減少大約40%~50%的時間,這也證明了算法的有效性。
[1] SJOBERG R,Chen Ying.Overview of HEVC:high-level syntax and referencs picture managemant[J].Institute of Electrical and Electronics Engineers(IEEE),2012,22(12):1858-1870.
[2] ZHANG Y F,WANG H B,LI Z.Fast coding unit depth decision algorithm for interframe coding in HEVC[J].Data Compression Conference (DCC),2013,113:53-62.
[3] BOYCE J M,Ye Yan,Chen Jianle, et al.Overview of SHVC:scalable excetion of the hign efficiency video coding(HEVC) standard[J].IEEE Transactions on Circuits & Systems for Video Technology,2016,26(1):20-34.
[4] 盧鑫,林茂六,金雪松等.新一代可伸縮視頻編碼標(biāo)準(zhǔn):背景、特征、技術(shù)及其應(yīng)用[J].電子測量與儀器學(xué)報,2015,29(10):1415-1424.
[5] LI G L,CHEN M J,LI H J,et al.Efficient search and mode prediction algorithms for motion estimation in H.264/AVC[C].Kobe, Japan: Proceeding of IEEE International Symposium on Circuits and Systems(ISCAS),2005,5:5481-5484.
[6] LAUDE T, Xiu Xiaoyu,Dong Jie,et al.Scalsble extension of HEVC using enhanced inter-layer prediction[J].IEEE International Conference on Innage Processing,2015:3739-3743.
[7] ZHU X,HONG W,XU H,et al.Spatial quality index based rate perceptual-distortion optimization for video coding[J].Journal of Visual Communication & Image Representation,2016,291:423-434.
[8] SEGALL C A, SULLIVAN G J.Spatial scalability within the H.264 AVC scalable video coding extension[J].IEEE Transactions on Circuits and Systems for Video Technology, 2007,17(9):1112-1135.
[9] KHALEK A A,CARAMANIS C, HEATH R W.A cross-layer design for perceptual optimization of H.264/SVC with unequal error protection[J].IEEE Journal on Selected Areas in Communications,2012,30(7):1157-1171.
[10] ZHAO L,ZHANG L,MA S,et al.Fast mode decision algorithm for intra prediction in HEVC[J].ISCAS,2011,37:1-4.
[11] SHEN X L,YU L,CHEN J.Fast coding unit size selection for HEVC based on Bayesian decision rule[J].Picture Coding Symposium (PCS),2012,29:453-456.
[12] BAILLEUL R, COCK J D.Fast mode decision for SNR scalability in SHVC digest of technical papers[C].IEEE International Conference on Consumer Electronics,2014:193-194.
[13] FRAN?OIS E,SHI S,GISQUET C,et al.Non-SCE1:simplification of intra mode coding in SHVC[C].JCT-VC M0115 Apr.2013.
[14] Zuo Xuguang,Yu Lu.Fast mode decision method for all intra spatial scalability in SHVC[C].IEEE,2015:394-397.
[15] 雷海衛(wèi),劉文怡,王安紅.3D-HEVC中深度圖幀內(nèi)預(yù)測模式判決過程的改進(jìn)[J].電子技術(shù)應(yīng)用,2016,42(10):116-119.
[16] 羅國成,余彪,劉進(jìn),等.基于小波變換的新型幀內(nèi)模式預(yù)測快速選擇算法[J].微型機與應(yīng)用,2013,32(25): 32-34.
[17] SEREGIN V,HE Y.Common SHM test conditions and software reference configurations[S].JCT-VC P1009,Jan.2014.
Fast algorithm for intra prediction in SHVC
Yin Qiwen
(College of Information Engineering, Shanghai Maritime University, Shanghai 201306,China)
Scalable High Efficiency Video Coding (SHVC) can achieve hierarchical coding of video sequences,because of the realization of the hierarchical coding,the prediction of the time complexity will be greatly increased,especially in the intra prediction process,because of selecting the best mode from 35 models.In order to accelerate the intra prediction mode decision process in the enhancement layer (EL),based on the correlation of the intra prediction mode among the current prediction unit (PU),the PU in the same position of the base layer (BL) and the PU in Spatially adjacent of BL or EL,proposed the fast decision algorithm for intra prediction mode.The experimental results show that the time reduction of about 40%~50% can be achieved compared with SHVC standard SHM9.0 when the video quality is basically the same.
SHVC; BL; EL; PU; correlation
TP391
A
10.19358/j.issn.1674-7720.2017.21.013
尹其文.SHVC中幀內(nèi)預(yù)測快速算法的研究J.微型機與應(yīng)用,2017,36(21):41-44.
2017-04-14)
尹其文(1992-),男,碩士研究生,主要研究方向:視頻壓縮編碼,新一代可伸縮視頻編碼(SHVC)的幀內(nèi)預(yù)測算法的優(yōu)化。