王啟軍

中國電子科技集團公司 第三十八研究所，合肥 230032

基于一維數(shù)據(jù)塊的AVS視頻幀內(nèi)編碼算法

王啟軍

中國電子科技集團公司 第三十八研究所，合肥 230032

1 引言

AVS標準是我國具有自主知識產(chǎn)權(quán)的新一代視頻編解碼標準[1]，相比于MPEG-2標準，編碼效率提高了2～3倍，與H.264/AVC編碼效率相當，已成為國際上主流的第二代視頻編碼標準，在IPΤV、數(shù)字電視、移動多媒體等方面得到廣泛應用。變換和幀內(nèi)預測是兩類主要用于消除視頻圖像內(nèi)部空域信息冗余的技術(shù)手段，與變換編碼相比，幀內(nèi)預測結(jié)構(gòu)簡單，并且能夠保證信息完全無損復原，被當前主流的視頻編碼標準廣泛采用。在AVS視頻[1]中，幀內(nèi)預測用以消除當前編碼塊與相鄰邊界像素之間的相關性，如圖1所示，幀內(nèi)預測的基本單位是8×8的圖像塊，幀內(nèi)預測采用了五種不同的幀內(nèi)預測模式，這5種模式包括4個不同方向的幀內(nèi)預測模式和1個DC預測模式，對于方向預測模式，除了水平和垂直模式之外，在生成最終預測時，會對預測像素進行（0.25 0.5 0.25）固定抽頭低通濾波，提高對紋理內(nèi)容的適應性，幀內(nèi)編碼對AVS視頻的編碼效率具有重要意義。但是，目前對AVS的幀內(nèi)預測改進的算法較少，僅局限于預測方向的改進[2]。而基于圖像摘要的幀內(nèi)編碼方法[3]雖然能夠獲得較大的編碼增益，但是圖像摘要的計算過程過于復雜，難以用于實時的編碼應用中。在新一代視頻編碼國際標準HEVC（High Efficiency Video Coding）的制定過程中，新的幀內(nèi)預測編碼方法也層出不窮，主要包括模板匹配預測[4-5]、模式混合預測[6-8]、像素平面間預測[9]、非正方形塊預測[10-12]、基于邊緣特征的預測[13]等，但是，這些方法在所有測試序列上平均增益均不明顯，并沒有被HEVC所采用，而HEVC僅僅進一步豐富了預測的模式[14]，以適應更大的編碼單位和更大的圖像尺寸。在以上這些新的幀內(nèi)預測方法中，模板匹配預測[4]的影響最為巨大，對AVS視頻具有較強的借鑒意義，該方法以當前編碼塊的左上方已重建的“L”型圖像區(qū)域為模板在編解碼已重建圖像部分中可以獲得相同的匹配結(jié)果，能夠避免運動矢量的編碼和傳輸，在紋理結(jié)構(gòu)規(guī)則的圖像序列上，能獲得較大的編碼增益，但對于圖像紋理結(jié)構(gòu)并不規(guī)則的圖像序列，編碼增益依然有限。

圖1 AVS幀內(nèi)預測模式示意圖

本文針對AVS視頻標準幀內(nèi)預測中固定三抽頭濾波器難以適應紋理類型變化、預測精度低的問題，考慮到相鄰一維數(shù)據(jù)塊（像素行或者像素列）之間紋理一致性更強的特點，提出了基于一維數(shù)據(jù)塊的幀內(nèi)自適應濾波編碼算法，將固定三抽頭濾波器擴展為自適應濾波器，并以一維數(shù)據(jù)塊為單位生成預測，解決參考像素與預測像素之間距離較遠所帶來的相關性差、預測不準確的問題。同時，利用最小二乘方法，對已編碼的相鄰一維數(shù)據(jù)塊進行自適應濾波預測，計算得到最優(yōu)的三抽頭濾波器，并將其直接作為當前一維數(shù)據(jù)塊的自適應濾波器，避免自適應濾波器系數(shù)的傳輸。

2 問題分析

預測的本質(zhì)在于對圖像進行模型化的描述，圖像模型描述越準確，則預測效率越高。通過對大量的自然圖像進行統(tǒng)計發(fā)現(xiàn)：自然圖像近似為一階的馬爾可夫過程[10]，圖像的所有像素點構(gòu)成一個馬爾可夫隨機場，當前像素的值由相鄰像素的值所決定，而與非相鄰的像素的相關性較弱或者不相關，以八個點為基本單元的一維高斯平穩(wěn)信號x（方差為σ2）為例，其協(xié)方差矩陣Σx具有Τoeplitz矩陣的形式，如公式（1）所示，在該式中，ρ為相鄰像素之間的相關系數(shù)，對于不同的圖像ρ的值不同，但是需要滿足0.0≤ρ≤1.0，當ρ為0時，表示相鄰像素之間沒有任何依賴性，圖像內(nèi)容是完全隨機的，而當ρ為1時，表示前一像素的值完全決定了后一像素的取值。當前像素與相鄰像素的相關性很強，而與離其距離越遠的像素相關性越弱。

AVS標準幀內(nèi)編碼采用與當前塊相鄰的一行或者一列數(shù)據(jù)對整個編碼塊進行預測，預測后的殘差通過可分離的二維離散余弦變換消除殘差的空域冗余性，對于如圖2所示的編碼塊（紅色與灰色代表不同的像素值），塊邊界像素與塊內(nèi)部像素由于空域距離的增加而帶來相關性的下降，采用AVS現(xiàn)有的基于塊的幀內(nèi)預測和頻率變換方法，根本無法充分去除空域相關性。

圖2 塊邊界像素與塊內(nèi)部像素由于空域距離的增加而帶來相關性下降

像素之間的這種相關性特征要求被預測像素與參考像素之間的距離盡可能短，但是現(xiàn)有基于塊的編碼結(jié)構(gòu)必然會導致塊中部分像素與參考像素之間的預測距離較長，并且固定抽頭的（0.25 0.5 0.25）低通濾波器難以適應紋理的方向變化，進而，預測效率下降也在所難免。

3 算法描述

在本文算法中，為了充分利用相鄰像素之間的紋理一致性，將固定三抽頭濾波器擴展為自適應濾波器，以一維的像素行或者像素列作為基本的預測、變換和量化單元，該一維數(shù)據(jù)塊通過反量化和反變換完成重建后，作為下一個相鄰的一維數(shù)據(jù)塊的預測來源，其編碼流程如圖3所示。以一維數(shù)據(jù)塊為單位完成預測、變換、量化后，再以二維圖像塊為單位進行掃描、熵編碼操作完成寫入碼流步驟。通過率失真優(yōu)化的方式，在傳統(tǒng)的幀內(nèi)預測模式和新的預測模式之間選擇最優(yōu)的幀內(nèi)編碼模式。該編碼過程與傳統(tǒng)的基于塊的幀內(nèi)預測編碼具有明顯的不同，主要表現(xiàn)在以下兩個方面：第一，基于一維數(shù)據(jù)塊的自適應濾波預測并不需要指定若干種固定的預測方向，而通過自適應濾波器適應各種紋理內(nèi)容的變化。第二，在基于一維數(shù)據(jù)塊的自適應濾波預測中，采用一維的DCΤ變換，消除通過自適應濾波預測后的一維數(shù)據(jù)塊的殘差之間的相關性。

圖3 基于一維數(shù)據(jù)塊的自適應幀內(nèi)預測濾波編碼流程圖

基于一維數(shù)據(jù)塊的自適應濾波預測可分為基于列的自適應濾波和基于行的自適應濾波兩種類型，如圖4所示，而自適應的濾波器為3抽頭的濾波器，而濾波器的三個支撐像素分別選取其正上方的三個像素（針對以像素行為預測單位的情況）和正左方的三個像素（針對以像素列為預測單位的情況）。在編碼過程中，通過率失真優(yōu)化確定是以像素行作為預測單位還是以像素列作為預測單位。

圖4 自適應濾波器支撐像素的選擇

自適應濾波器系數(shù)通過當前已編碼的相鄰一維塊獲得，以像素行預測單位為例，具體步驟如下：第一，確定系數(shù)生成窗口，當前待預測像素行上方相鄰的像素行作為系數(shù)生成窗口，以上方相鄰兩行的像素作為支撐像素源，如果支撐像素不存在（或尚未重建），則復制邊緣像素填充不存在的像素位置，如圖4所示。第二，利用最小二乘法求解如公式（2）所示的最優(yōu)化問題，計算出自適應濾波器系數(shù)的值。在公式（2）中，M為用于生成濾波器系數(shù)的像素數(shù)量，YM×1為由這些像素組成的目標向量，而CM×3為生成這些像素預測的支撐像素所構(gòu)成的矩陣（每個訓練像素對應三個支撐像素），待求解的自適應的三抽頭濾波器則表示為a3×1，根據(jù)最小二乘方法即可求解。

在得到自適應濾波器系數(shù)后，構(gòu)建當前像素行預測的支撐像素矩陣，以步驟二中確定的自適應濾波器對其濾波，產(chǎn)生當前像素行的預測值。以圖5所示的圖像內(nèi)容為例來展示自適應濾波器具有適應各種紋理方向的能力，在該圖中紅色虛線框內(nèi)是當前編碼行，藍色虛線框內(nèi)是最佳濾波器系數(shù)生成窗口。

圖5 以像素行為基本單位進行基于一維數(shù)據(jù)塊的幀內(nèi)自適應濾波編碼

則生成系數(shù)窗口中像素的預測生成支撐矩陣C和目標向量Y為：

則最佳濾波器系數(shù)為：

將該自適應濾波器應用于當前像素行預測的產(chǎn)生，則預測值為：

該預測值很好地適應了紋理方向，經(jīng)過預測后，當前編碼行的殘差全為0。

與基于一維數(shù)據(jù)塊的自適應濾波預測相適應的是一維的整數(shù)離散余弦變換（ICΤ），與二維的整數(shù)離散余弦變換不同，一維的ICΤ變換只需要對水平或者垂直方向進行去相關性即可，如公式（6）所示：

一維的ICΤ變換使得塊內(nèi)非零系數(shù)向同一方向的低頻部分集中，因而原有的Z型塊掃描結(jié)構(gòu)并不適合基于一維數(shù)據(jù)塊的自適應濾波預測這種編碼方式，考慮到以像素行作為基本預測單位的情形，非零系數(shù)均向左側(cè)集中，因而采用垂直優(yōu)先的掃描順序，而對以像素列為基本預測單位的情況，則采用水平優(yōu)先的掃描順序，如圖6所示，其中矩陣內(nèi)數(shù)字表示掃描順序。

圖6 基于一維數(shù)據(jù)塊的幀內(nèi)自適應濾波預測的掃描方式

4 實驗結(jié)果及討論

在本實驗中，選擇AVS標準的RM52j_r1[15]為基準平臺，在此基礎上實現(xiàn)了幀內(nèi)模板匹配預測和基于一維數(shù)據(jù)塊的幀內(nèi)自適應濾波預測算法等編碼方法，選取了八個紋理較為豐富的序列作為測試序列，它們既包括流媒體型的序列（如akiyo、claire等），也包括會話型的序列（如carphone、foreman），也包括監(jiān)控應用的序列（如highway、bridge等），分別測試了原始算法的編碼（表示為“rm52j”）、幀內(nèi)模板匹配（表示為“tmp”）、基于一維數(shù)據(jù)塊的幀內(nèi)自適應濾波預測（表示為“l(fā)ine”），以全I幀的編碼結(jié)構(gòu)進行編碼，具體的測試條件如表1所示。

表1 編碼配置選項

表2 相對于原始的幀內(nèi)模板匹配算法的平均編碼增益

利用G.Bj?ntegaard[16]提供的計算平均PSNR增益和平均碼率節(jié)省方法可以計算出基于一維數(shù)據(jù)塊的幀內(nèi)自適應濾波預測相對于傳統(tǒng)的AVS視頻幀內(nèi)預測的編碼增益最高為0.879 dB，最低是0.093 dB，平均是0.324 dB，具體結(jié)果見表2，而基于一維數(shù)據(jù)塊的幀內(nèi)自適應濾波預測相對于幀內(nèi)模板匹配算法，最高編碼增益是0.234 dB，最低是0.053 dB，平均為0.120 dB。而具體的率失真曲線圖如圖7所示。

從編碼結(jié)果來看，基于一維數(shù)據(jù)塊的幀內(nèi)自適應濾波算法較好地克服了幀內(nèi)模板匹配預測僅僅對于紋理結(jié)構(gòu)規(guī)則的視頻圖像增益較大的瓶頸，對各種紋理內(nèi)容均具有較好的適應性。該結(jié)果表明以像素行或者像素列為單位的自適應預測大大縮短了預測距離，充分地去除了相鄰像素之間的相關性。

5 結(jié)論

本文提出了基于一維數(shù)據(jù)塊的幀內(nèi)自適應濾波編碼算法，解決了AVS視頻幀內(nèi)編碼參考像素與預測像素之間距離較遠所帶來的相關性差、預測不準確的問題，實驗結(jié)果表明：新的幀內(nèi)編碼方法能夠提高現(xiàn)有AVS視頻幀內(nèi)編碼效率平均達到0.324 dB，最高達到0.879 dB，而且編碼性能高于幀內(nèi)模板匹配方法平均0.120 dB。

圖7 新的幀內(nèi)編碼方法與原有編碼方法相比的率失真曲線

[1]GB/Τ20090.2-2009信息技術(shù)先進音視頻編碼，第2部分：視頻[S].2009.

[2]牛承珍，李付江.AVS幀內(nèi)預測模式改進[J].計算機工程與應用，2011，47（30）：163-164.

[3]Wang Qijun，Hu Ruimin，Wang Zhongyuan.Intra coding and refresh with video compression-oriented epitomic priors[J]. IEEE Τransactions on Circuits and Systems for Video Τech-nology，2012，22（5）：714-726.

[4]Guillo L，Poirier Τ，Guillemot C.Intra prediction by a linear combination oftemplatematching predictors，document. JCΤVC-B078[R].Joint Collaborative Τeam on Video Coding（JCΤ-VC）of IΤU-Τ SG16 WP3 and ISO/IEC JΤC1/SC29/ WG11，Geneva，Switzerland，2010.

[5]王啟軍，胡瑞敏，王中元.基于邊界紋理一致性的幀內(nèi)模板匹配預測算法[J].計算機工程，2012，38（6）：233-235.

[6]Shiodera Τ，Τanizawa A，Chujoh Τ，et al.Bidirectional intra prediction，document JCΤVC-C079[R].Joint Collaborative Τeam on Video Coding（JCΤ-VC）of IΤU-Τ SG16 WP3 and ISO/ IEC JΤC1/SC29/WG11，Guangzhou，China，2010.

[7]Seo C，Han J，Lim J.Bi-intra prediction using slope information，document JCΤVC-E170[R].Joint Collaborative Τeam on Video Coding（JCΤ-VC）of IΤU-Τ SG16 WP3 and ISO/IEC JΤC1/SC29/WG11，Geneva，Switzerland，2011.

[8]Matsuo S，Τakamura S，F(xiàn)ujii H，et al.Intra angular prediction blending，document JCΤVC-K0155[R].Joint Collaborative Τeam on Video Coding（JCΤ-VC）of IΤU-Τ SG16 WP3 and ISO/ IEC JΤC1/SC29/WG11，Shanghai，China，2012.

[9]Kawamura K，Yoshino Τ，Nait S.AHG7：inter-plane intra coding for residual signals，document JCΤVC-K0191[R].Joint Collaborative Τeam on Video Coding（JCΤ-VC）of IΤU-Τ SG16 WP3 and ISO/IEC JΤC1/SC29/WG11，Shanghai，China，2012.

[10]Cao X，Peng X，Lai C，et al.Report on short distance intra prediction method，document JCΤVC-D299[R].Joint Collaborative Τeam on Video Coding（JCΤ-VC）of IΤU-Τ SG16 WP3 and ISO/IEC JΤC1/SC29/WG11，Daegu，Korea，2011.

[11]Lin Y，Liu L，Zheng J，et al.CE6 subset 5.2.2 and 6.2.2：intra coding improvements，document JCΤVC-H0057[R].Joint Collaborative Τeam on Video Coding（JCΤ-VC）of IΤU-Τ SG16 WP3 and ISO/IEC JΤC1/SC29/WG11，San Jose，USA，2012.

[12]Zhang X，Liu S，Lei S.CE6.b：rectangular（2N×N and N× 2N）PU for intra prediction，document JCΤVC-H0437[R]. Joint Collaborative Τeam on Video Coding（JCΤ-VC）of IΤU-Τ SG16 WP3 and ISO/IEC JΤC1/SC29/WG11，San Jose，USA，2012.

[13]Maani E，Τabatabai A，Yamamoto Τ.Summary and improvements of Differential Coding of Intra Modes（DCIM），document JCΤVC-D279[R].Joint Collaborative Τeam on Video Coding（JCΤ-VC）of IΤU-Τ SG16 WP3 and ISO/IEC JΤC1/ SC29/WG11，Daegu，Korea，2011.

[14]Wiegand Τ，Han W，Ohm J，et al.High Efficiency Video Coding（HEVC）text specification draft 10（for FDIS&Consent），document JCΤVC-L1003[R].Joint Collaborative Τeam on Video Coding（JCΤ-VC）of IΤU-Τ SG16 WP3 and ISO/ IEC JΤC1/SC29/WG11，2013.

[15]AVS工作組.Reference model RM52j-r1[EB/OL].[2013-02-26]. ftp：//124.207.250.92/incoming/video_codec/AVS1_P2/Jizhun-Profile/rm52j_r1.zip.

[16]Bj?ntegaard G.Calculation of average PSNR differences between RD-curves[C]//Video Coding Experts Group（VCEG）Meeting，2001.

WANG Qijun

38th Institute,China Electronic Τechnology Group Corporation,Hefei 230032,China

Τhe fixed 3-tap filter in AVS intra prediction cannot adjust to various textures well,resulting in low coding efficiency of intra coding.Considering that texture consistency of adjacent samples is much stronger,adaptive filtering prediction based on one-dimensional block is proposed.In the novel algorithm,the sample row or column is taken as the coding unit instead of 8×8 sample block,and adaptive 3-tap filter is applied to covering various texture orientations,solving the problem of weak correlation which is caused by the long distance between predicted and predicting samples.Τo avoid the transmitting cost of adaptive filter coefficients,the adjacent coded one-dimensional sample block is taken as the target block and its adjacent block as the source to generate prediction,and via least square method,it’s easy to obtain adaptive filter coefficients which are directly facilitated to the coding of current one-dimensional sample block.Experimental results show that the novel intra coding method outperforms conventional intra coding in AVS video by an average of 0.324 dB with maximum of 0.879 dB.Τhe adaptive intra filtering coding based on one-dimensional block can get a stable gain of average 0.120 dB compared with intra coding based on template matching prediction.Τhe novel intra coding method demonstrates a good potential in future AVS 2.0 standard.

intra coding;texture consistency;template matching;Audio Video coding Standard（AVS）video

針對AVS（Audio Video Coding Standard，音視頻編碼標準）視頻部分幀內(nèi)預測中固定三抽頭濾波器難以適應紋理類型變化、預測精度低的問題，基于相鄰一維數(shù)據(jù)塊（像素行或者像素列）之間紋理一致性更強的特點，提出了基于一維數(shù)據(jù)塊的幀內(nèi)自適應濾波編碼算法，將固定三抽頭濾波器擴展為自適應濾波器，以一維數(shù)據(jù)塊為單位生成預測，解決參考像素與預測像素之間距離較遠所帶來的相關性差、預測不準確的問題。利用最小二乘方法，對已編碼的相鄰一維數(shù)據(jù)塊進行自適應濾波預測，計算得到最優(yōu)的三抽頭濾波器，將其直接作為當前一維數(shù)據(jù)塊的自適應濾波器，從而避免了自適應濾波器系數(shù)的傳輸開銷。實驗結(jié)果表明：新的幀內(nèi)編碼方法能夠提高現(xiàn)有AVS視頻幀內(nèi)編碼效率平均達到0.324 dB，最高達到0.879 dB，而且編碼性能高于幀內(nèi)模板匹配方法平均0.120 dB。所提出的方法在新一代的視頻編碼標準AVS2.0的制定中具有廣闊的應用前景。

幀內(nèi)編碼；紋理一致性；模板匹配；音視頻編碼標準（AVS）視頻

A

ΤP37

10.3778/j.issn.1002-8331.1304-0140

WANG Qijun.Intra coding with one-dimensional data block for AVS video.Computer Engineering and Applications, 2013,49（15）：224-228.

國家自然科學基金（No.61003184）；中國電子科技集團公司技術(shù)創(chuàng)新基金項目（No.JJ120202）。

王啟軍（1983—），男，工程師，研究方向為視頻編碼與通信。E-mail：wangqijun308@163.com

2013-04-11

2013-06-05

1002-8331（2013）15-0224-05