王 菲

(同濟(jì)大學(xué) 電子與信息工程學(xué)院，上海 201804)

基于調(diào)色板模式的屏幕視頻幀內(nèi)編碼快速算法

王 菲

(同濟(jì)大學(xué) 電子與信息工程學(xué)院，上海 201804)

基于HEVC的屏幕視頻編碼根據(jù)屏幕視頻的特征，引入了調(diào)色板模式、基于Hash的塊匹配算法等新技術(shù)。這些新技術(shù)雖然提升了編碼的質(zhì)量，但同時(shí)增加了編碼器的復(fù)雜度。為降低屏幕視頻編碼器的復(fù)雜度，提出了一種基于調(diào)色板模式的屏幕視頻幀內(nèi)編碼快速算法。該算法結(jié)合了屏幕視頻的特征和幀內(nèi)編碼模式的空間相關(guān)性，有效地減少了幀內(nèi)編碼單元的模式搜索范圍。該算法可以在保證視頻編碼質(zhì)量的前提下，有效降低編碼復(fù)雜度，減少編碼時(shí)間。在屏幕內(nèi)容編碼的標(biāo)準(zhǔn)測試平臺(tái)SCM5.4的實(shí)驗(yàn)結(jié)果顯示，本算法可以降低21%的編碼時(shí)間，同時(shí)只引起0.93%的BD-Rate的上升。

屏幕視頻編碼；調(diào)色板模式；幀內(nèi)編碼

0 引言

新一代視頻壓縮編碼標(biāo)準(zhǔn)——高效視頻編碼技術(shù)(High Efficiency Video Coding，HEVC)，它將自然圖像視頻壓縮效率相對(duì)于H.264/AVC提升了數(shù)倍。近年來，隨著視頻會(huì)議、遠(yuǎn)程桌面共享等應(yīng)用越來越廣泛，人們對(duì)帶有文字圖表的圖像等屏幕視頻的需求量越來越大，傳統(tǒng)的視頻編碼技術(shù)如HEVC、H.264/AVC等對(duì)自然圖像視頻處理固然有效，但是由于屏幕視頻圖像不同于自然視頻圖像的特點(diǎn)，如局部塊顏色的數(shù)量有限、邊緣鋒利、色調(diào)不連續(xù)、沒有可捕獲的噪聲等，如果使用傳統(tǒng)的自然圖像編碼技術(shù)，極有可能降低屏幕視頻編碼效率。

基于HEVC視頻壓縮編碼標(biāo)準(zhǔn)的屏幕視頻編碼標(biāo)準(zhǔn)(Screen Content Coding，SCC)仍在完善之中，但是SCC依舊沿用了HEVC的框架，即HEVC所采用的四叉樹結(jié)構(gòu)的編碼單元(Coding Unit，CU)劃分方式，并對(duì)每種尺寸的CU、預(yù)測單元(Prediction Unit，PU)或變換單元(Transform Unit，TU)通過計(jì)算率失真代價(jià)(Rate Distortion Cost，RD_Cost)得出最優(yōu)尺寸。鑒于屏幕視頻的特性，為了提高編碼效率，SCC在HEVC原有技術(shù)的基礎(chǔ)上添加了調(diào)色板模式(Palette Mode)、幀內(nèi)塊復(fù)制(Intra Block Copy，IntraBC)、自適應(yīng)顏色變換(Adaptive Colour Transform，ACT)、基于Hash的塊匹配技術(shù)、自適應(yīng)運(yùn)動(dòng)矢量分辨率決定(Adaptive Motion Resolution Decision，AMRD)等技術(shù)[1]。

目前研究人員已經(jīng)對(duì)SCC幀內(nèi)編碼的復(fù)雜度進(jìn)行了優(yōu)化，并取得了良好的效果，如文獻(xiàn)[2]用平均像素代價(jià)來提前決定SCC幀內(nèi)編碼CU的尺寸。

本文主要利用SCC新引入的Palette模式以及幀內(nèi)編碼單元之間的相關(guān)性，在幾乎不影響屏幕視頻編碼質(zhì)量的情況下，降低編碼器復(fù)雜度。

1 Palette模式簡介

SCC在幀內(nèi)編碼模式中引入了一種新的預(yù)測模式，即調(diào)色板模式。與傳統(tǒng)的幀內(nèi)和幀間預(yù)測所采用的編碼單元之間去除冗余的方法不同的是，由于屏幕視頻中存在著大量的文字區(qū)域，會(huì)給編碼單元內(nèi)部帶來重復(fù)像素的冗余，Palette模式的目標(biāo)就是處理這種重復(fù)像素的冗余。在Palette編碼模式中，首先要表示出一個(gè)可以將像素值映射到表索引(也稱為調(diào)色板索引)的查找表，即為調(diào)色板。然后根據(jù)游長熵編碼方式對(duì)一個(gè)編碼單元的索引進(jìn)行編碼。調(diào)色板編碼是一個(gè)非常簡單的工具，它跳過了傳統(tǒng)變換/反變換模塊,并提高了譯碼器的吞吐量，結(jié)果顯示，無論對(duì)有損或者無損編碼，Palette模式都會(huì)顯著提高屏幕內(nèi)容視頻編碼的效率[3]。

2 基于調(diào)色板模式的幀內(nèi)快速選擇算法的分析

圖1所示為SCM5.4標(biāo)準(zhǔn)所對(duì)應(yīng)幀內(nèi)編碼的流程圖，具體的流程為：當(dāng)CU的深度為0時(shí)，檢測Intra、IntraBCMerge模式；當(dāng)CU的深度為1時(shí)，檢測IntraBC、Intra、IntraBCMerge、Palette模式；當(dāng)CU深度為2或3時(shí)，檢測IntraBC、Intra、IntraBCMerge、FastIntraBC、Palette模式。

圖1 SCM5.4標(biāo)準(zhǔn)對(duì)應(yīng)的幀內(nèi)流程圖

通過分析可以看到，當(dāng)CU深度為0時(shí)，只需要執(zhí)行Intra和IntraBCMerge兩種模式，編碼器的復(fù)雜度相對(duì)較低；當(dāng)CU深度大于0時(shí)，編碼器的復(fù)雜度顯著提升，Palette模式是SCC在HEVC的框架上引入的新技術(shù)。為了研究加速的可能性，本文統(tǒng)計(jì)了在SCM5.4平臺(tái)下，量化參數(shù)(Quanlitization Parameter，QP)選取為22、27、32、37，ChineseEditing(1080p)、sc_map(720p)這兩個(gè)視頻序列在幀內(nèi)(All Intra，AI)配置下，當(dāng)CU的深度為1,2,3，相鄰塊(左側(cè)CU和上方CU)的模式為Palette的情況下，當(dāng)前CU采用的模式為Palette的比例，具體結(jié)果如表1所示。其中相鄰塊的關(guān)系如圖2所示。

表1 當(dāng)相鄰塊(左邊CU和上邊CU)的模式為Palette的情況下，當(dāng)前CU采用的模式為Palette的比例 (%)

圖2 當(dāng)前CU與其相鄰CU的位置關(guān)系

統(tǒng)計(jì)結(jié)果顯示，當(dāng)CU的深度為1和2時(shí)，在當(dāng)前CU的相鄰CU同時(shí)采用Palette模式時(shí)，當(dāng)前CU也采用Palette模式的比例約為87%，當(dāng)CU深度為3時(shí)，其比例大幅度下降，故本算法主要針對(duì)于深度為1和2的CU進(jìn)行優(yōu)化。

3 本文提出的種基于調(diào)色板模式的幀內(nèi)快速選擇算法

基于上一節(jié)的描述，本文提出了一種基于調(diào)色板模式的幀內(nèi)CU模式快速選擇算法。圖3所示為本文提出的算法的流程圖。

圖3 本文提出的算法對(duì)應(yīng)的幀內(nèi)流程圖

詳細(xì)的算法流程描述如下：當(dāng)CU深度為0時(shí)，檢測Intra、IntraBCMerge模式；當(dāng)CU的深度為1，2時(shí)，計(jì)算公式(1)中的flag，如果flag為1，則只檢測Palette模式，如果flag為0，則當(dāng)CU深度為1時(shí)，檢測IntraBC、Intra、IntraBCMerge、Palette模式，當(dāng)CU深度為2時(shí)，檢測IntraBC、Intra、IntraBCMerge、FastIntraBC、Palette模式；當(dāng)CU的深度為3時(shí)，檢測IntraBC、Intra、IntraBCMerge、FastIntraBC、Palette模式。

(1)

4 實(shí)驗(yàn)結(jié)果

為了驗(yàn)證改進(jìn)后的算法的有效性，本文將本算法與SCC標(biāo)準(zhǔn)算法在SCM5.4的測試平臺(tái)下進(jìn)行了比較。仿真測試的計(jì)算機(jī)環(huán)境配置是Intel Core i7-3770 processor 3.40 GHz clock speed和8 GB RAM。SCM5.4的測試配置為AI，QP選取為22、27、32、37。測試的視頻種類是帶有文字和圖形的運(yùn)動(dòng)視頻(Text and Graphics with Motion，TGM)，它是屏幕視頻的一種。測試視頻的分辨率是1 920×1 080和1 280×720。測試視頻選取YUV444、RGB444兩種。最大編碼單元尺寸是64×64，最大的劃分深度是4，變換單元的最大深度是3。

表2是改進(jìn)后的算法與SCM5.4標(biāo)準(zhǔn)在AI配置下的實(shí)驗(yàn)結(jié)果。其中ΔT的定義如公式(2)所示，BD-Rate的定義參照文獻(xiàn)[4]。

(2)

式中，ΔT代表時(shí)間的節(jié)省百分比，Toriginal代表SCM5.4標(biāo)準(zhǔn)流程在測試平臺(tái)下的時(shí)間，Tproposed代表改進(jìn)的算法在測試平臺(tái)下的時(shí)間。從實(shí)驗(yàn)結(jié)果可以看到，該算法對(duì)分辨率為1080p的視頻較720p的視頻能夠達(dá)到更好的效果。在AI的配置下，對(duì)于YUV444的視頻，編碼器的平均加速時(shí)間提升了20.59%，BD-Rate升高了0.93%；對(duì)于RGB444的視頻，編碼器的平均加速時(shí)間提升了20.26%，BD-Rate升高了0.64%。通過實(shí)驗(yàn)結(jié)果可以看出，該算法可以在加速編碼器的同時(shí)，保證視頻的編碼質(zhì)量。

表2 實(shí)驗(yàn)結(jié)果 (%)

5 結(jié)論

本文提出了一種基于調(diào)色板模式的幀內(nèi)快速算法，它可以有效地降低屏幕視頻編碼器的復(fù)雜度。首先分析屏幕視頻編碼不同于傳統(tǒng)的自然圖像編碼所采用的新技術(shù)；然后通過分析屏幕視頻的特點(diǎn)以及幀內(nèi)編碼模式的空間相關(guān)性確定優(yōu)化方案；最后通過實(shí)驗(yàn)驗(yàn)證了算法的有效性。

[1] JCTVC-U1014, Screen content coding test model 5[S]. Warsaw, Poland： JCT-VC of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11, 2015.

[2] SAURTY K, CATHERINE P C, SOYJAUDAH K M. Early CU size determination in HEVC intra prediction using Average Pixel Cost[C]. 2014 Fourth International Conference on. Digital Information and Communication Technology and it’s Applications (DICTAP), IEEE, 2014: 247-252.

[3] Guo Liwei, Pu Wei, Zou Feng, et al. Color palette for screen content coding[C]. 2014 IEEE International Conference on Image Processing (ICIP), IEEE, 2014:5556-5560.

[4] BJ?NTEGAARD B G. Improvements of the BD-PSNR model[S]. ITU-T SG16/Q6 Input Document VCEG-AI11, 2010.

Fast intra algorithm of screen content coding based on palette mode

Wang Fei

(College of Electronics and Information Engineering , Tongji University, Shanghai 201804, China)

The introduction of new technologies, such as palette mode, Hash-based block matching and so on, which are adopted by screen content coding(SCC), improves the quality of encoder. But at the same time, it increases its complexity. We propose a method which is applied on fast intra coding unit(CU) mode decision of SCC, which aims at reducing the candidates of intra CU modes. This method combines characteristics of screen video content and spatial coherence of intra modes, and can effectively reduce the searching range of CU modes. The method can ensure the quality of coding, and significantly improve the efficiency of SCC intra frame coding. Experimental results show that the proposed method achieves about 21% time saving and 0.9% BD-rate up compared with the SCC standard test mode 5.4.

screen content coding; palette mode; intra coding

TP37

A

10.19358/j.issn.1674- 7720.2017.02.012

王菲.基于調(diào)色板模式的屏幕視頻幀內(nèi)編碼快速算法[J].微型機(jī)與應(yīng)用，2017,36(2)：34-36

2016-08-27)

王菲(1994-)，女，碩士，主要研究方向：屏幕視頻編碼快速算法。