王艷營(yíng)，馮進(jìn)玫，張文祥

(黑龍江科技大學(xué) 電子與信息工程學(xué)院，黑龍江 哈爾濱 150027)

大GOP下基于混合更新的邊信息生成算法

王艷營(yíng)，馮進(jìn)玫，張文祥

(黑龍江科技大學(xué) 電子與信息工程學(xué)院，黑龍江 哈爾濱 150027)

在分布式視頻編碼中，邊信息的質(zhì)量對(duì)系統(tǒng)整體的率失真性能有著至關(guān)重要的影響。在大GOP(圖像組)條件下，外推算法因其具有良好的實(shí)用性而被廣泛采用。為了進(jìn)一步提高在大GOP條件下利用外推算法生成邊信息的質(zhì)量和系統(tǒng)的率失真性能，提出了一種基于混合更新的邊信息生成算法。該算法將外推算法和內(nèi)插算法混合使用，在利用外推算法生成邊信息的基礎(chǔ)上，通過運(yùn)動(dòng)估計(jì)、矢量濾波和運(yùn)動(dòng)補(bǔ)償生成內(nèi)插邊信息，再對(duì)兩者進(jìn)行自適應(yīng)加權(quán)生成混合邊信息并更新，同時(shí)對(duì)更新后的混合邊信息和解碼WZ幀進(jìn)行二次重建。實(shí)驗(yàn)結(jié)果表明：該算法在大GOP和編碼端同等復(fù)雜度的情況下，能夠顯著提高邊信息的質(zhì)量以及系統(tǒng)的率失真(RD)性能，且性能穩(wěn)定，適用于不同運(yùn)動(dòng)強(qiáng)度的視頻序列。

邊信息；混合更新；外推算法；內(nèi)插算法；率失真

0 引 言

隨著計(jì)算機(jī)和視頻信息技術(shù)的飛速發(fā)展，出現(xiàn)了如無線視頻、多媒體傳感器網(wǎng)絡(luò)等新型視頻應(yīng)用。在這些領(lǐng)域，編碼設(shè)備簡(jiǎn)單，解碼設(shè)備要進(jìn)行復(fù)雜度很高的運(yùn)算，傳統(tǒng)的MPEG和H.264視頻編碼標(biāo)準(zhǔn)已不再適用這些場(chǎng)合，而分布式視頻編碼(DVC)[1]為這些新領(lǐng)域的應(yīng)用提供了很好的解決方案，成為了當(dāng)前研究的熱點(diǎn)。

早期DVC研究重點(diǎn)在小GOP(圖像組)條件下，此情況下關(guān)鍵幀所占比例仍然很大，使得編碼端的復(fù)雜度很高。為了改善這一問題，越來越多的學(xué)者對(duì)大GOP條件下的DVC進(jìn)行研究[2]，在這種條件下關(guān)鍵幀距離越遠(yuǎn)，相關(guān)性越差，生成高質(zhì)量的邊信息的難度越大，而邊信息質(zhì)量對(duì)系統(tǒng)性能有著重要影響。因此如何在大GOP條件下，在解碼端生成高質(zhì)量邊信息一直是DVC研究的關(guān)鍵問題。

在研究各種邊信息算法的基礎(chǔ)上，提出了混合更新邊信息生成算法。該算法充分利用大GOP下外推算法的優(yōu)勢(shì)，并結(jié)合內(nèi)插算法生成混合邊信息，再對(duì)混合邊信息進(jìn)行更新和二次重建，以有效提高邊信息的質(zhì)量和系統(tǒng)率失真(RD)的性能。

1 相關(guān)工作

在分布式視頻編碼中，目前邊信息的生成算法主要有基于塊的運(yùn)動(dòng)補(bǔ)償算法和基于光流的運(yùn)動(dòng)矢量算法[3]，前者因具有較低的復(fù)雜度而應(yīng)用廣泛，常用算法包括運(yùn)動(dòng)補(bǔ)償內(nèi)插[4](MCI)算法和運(yùn)動(dòng)補(bǔ)償外推[5](MCE)算法。在小GOP時(shí)，內(nèi)插算法的效果高于外推算法，一直也是很多學(xué)者研究的熱點(diǎn)，很多實(shí)用算法相繼提出，如分層變塊大小運(yùn)動(dòng)估計(jì)算法[6]、多假設(shè)運(yùn)動(dòng)補(bǔ)償去噪算法[7]、加權(quán)運(yùn)動(dòng)補(bǔ)償內(nèi)插法[8]、可變塊運(yùn)動(dòng)矢量法[9]等，這些算法都有效地提高了邊信息的質(zhì)量。

內(nèi)插算法具有一定的優(yōu)勢(shì)，能夠充分利用前后相鄰幀的信息，較好地避免遮擋等問題。在小GOP時(shí)(GOP=2)，能夠生成質(zhì)量較高的邊信息，但是也存在一定的局限性：內(nèi)插算法的解碼順序不符合視頻播放順序，因此會(huì)有延時(shí)，GOP越大，延時(shí)越大；隨著GOP尺寸增大，內(nèi)插算法生成的邊信息質(zhì)量較差，整體率失真性能急劇下降[10]。為了解決這些問題，出現(xiàn)了一些大GOP下的改進(jìn)內(nèi)插邊信息算法[11]，但是邊信息質(zhì)量提升有限。

與內(nèi)插算法相比，外推算法能夠按順序解碼，從而具有較好的實(shí)時(shí)性，并且其性能對(duì)GOP尺寸變化不敏感，彌補(bǔ)了內(nèi)插算法在大GOP條件下的缺點(diǎn)。因此，很多學(xué)者對(duì)此展開研究，提出了一些算法，如塊匹配外推算法(BME)[12]、最小二乘預(yù)測(cè)外推算法(LSP)[13]、分級(jí)運(yùn)動(dòng)估計(jì)外推算法[14]等。這些算法都有效地提高了邊信息質(zhì)量，但是外推算法也有缺點(diǎn)，它只用前面相鄰解碼幀外推，遮擋問題對(duì)邊信息的影響較大，生成的邊信息質(zhì)量沒有內(nèi)插算法高。

2 大GOP下混合更新的邊信息生成算法

在大GOP條件下，該算法根據(jù)外推算法和內(nèi)插算法各自的優(yōu)勢(shì)，在外推算法編碼系統(tǒng)中加入內(nèi)插算法生成邊信息并進(jìn)行更新，并對(duì)混合更新邊信息進(jìn)行二次重建。該算法充分利用視頻序列幀間的相關(guān)性，以此提高邊信息的質(zhì)量和系統(tǒng)率失真的性能。

2.1 系統(tǒng)框架

該算法采用大GOP結(jié)構(gòu)下DCT域分布式編碼系統(tǒng)，編解碼器采用Turbo碼，解碼端采用混合邊信息更新二次重建(粗線部分)的系統(tǒng)框架，如圖1所示。

圖1 采用混合邊信息的系統(tǒng)框架

解碼端重構(gòu)的過程如下：

Step1:已解碼K幀利用外推算法產(chǎn)生邊信息，此邊信息與編碼端傳來的校驗(yàn)位進(jìn)行Turbo解碼，得到外推WZ幀；

Step2:對(duì)已解碼K幀進(jìn)行混合邊信息更新(內(nèi)插算法)，得到更新邊信息；

Step3:解碼外推WZ幀與更新混合邊信息二次重建，得到重構(gòu)WZ幀。

2.2 算法過程

在上述框架所述邊信息生成算法中，假設(shè)視頻序列結(jié)構(gòu)分布為K-K-WZ-WZ-WZ…，前兩幀為K幀(K1，K2)，后面為WZ幀(WZ1，WZ2，WZ3…)，則混合邊信息更新算法的步驟如下：

圖2 外推內(nèi)插生成邊信息過程

Step5:其余WZ幀(WZ2，WZ3…)混合邊信息更新算法與上面相同，轉(zhuǎn)至Step1。

依據(jù)以上算法的具體步驟，混合邊信息更新生成以及二次重建的過程如圖3所示。

圖3 算法過程

(1)運(yùn)動(dòng)估計(jì)匹配準(zhǔn)則。

為了使得到的運(yùn)動(dòng)矢量適合于任何運(yùn)動(dòng)程度的視頻序列，運(yùn)動(dòng)估計(jì)采用加權(quán)SAD作為匹配準(zhǔn)則，前向運(yùn)動(dòng)估計(jì)和后向運(yùn)動(dòng)估計(jì)的表達(dá)式分別如式(1)和(2)所示。

(1)

(2)

其中，dx和dy為運(yùn)動(dòng)偏移；B為圖像塊范圍；M為搜索范圍；K為平滑約束系數(shù)，取值0.05時(shí)效果最好。

(2)自適應(yīng)加權(quán)。

將外推算法和內(nèi)插算法得到的估計(jì)幀自適應(yīng)加權(quán)，得到混合邊信息，計(jì)算公式如式(3)所示。

(3)

其中，SAD=SADf+SADb；Sf和Sb為前向和后向補(bǔ)償幀；w為經(jīng)驗(yàn)值，當(dāng)取值0.5時(shí)，達(dá)到最佳效果。

3 實(shí)驗(yàn)仿真結(jié)果及分析

3.1 邊信息質(zhì)量

測(cè)試采用邊信息幀的平均峰值信噪比(PSNR)來衡量邊信息的質(zhì)量，在量化參數(shù)QP=24時(shí)，分別對(duì)三個(gè)視頻序列采用BME算法和文中算法生成邊信息的質(zhì)量進(jìn)行測(cè)試驗(yàn)證，圖4給出了前50幀視頻序列的邊信息亮度PSNR值。

(a)Coastguard序列的亮度PSNR值

(b)Foreman序列的亮度PSNR值

(c)Football序列的亮度PSNR值圖4 三個(gè)視頻序列的亮度PSNR值

從圖4可以看出，三個(gè)運(yùn)動(dòng)程度不同的視頻序列在利用混合邊信息更新算法后，邊信息的質(zhì)量與BME算法相比都有明顯的改善，Coastguard序列的PSNR值提升了1.13 dB，F(xiàn)oreman序列的PSNR值提升了2.92 dB，F(xiàn)ootball序列的PSNR值提升了2.52 dB。由此說明,在大GOP下，雖然使用外推算法比較適合，但是它未充分利用當(dāng)前幀與未來幀的關(guān)系，而混合更新邊信息算法正彌補(bǔ)了這一缺陷，很好地提高了邊信息的質(zhì)量。

3.2 RD性能

在GOP=4和GOP=8時(shí)，三個(gè)視頻序列采用BME算法與文中算法的率失真(RD)性能曲線圖以及不同GOP下視頻序列的RD對(duì)比圖(以Foreman序列為例)，如圖5所示。

從圖5(a)～(f)可以看出：文中算法與BME算法相比，不同運(yùn)動(dòng)程度的視頻序列率失真性能均得到了改善，GOP=4時(shí)，RD性能提升了0.2～0.6 dB，隨著GOP的增大，RD性能改善明顯，GOP=9時(shí)，RD性能提升了0.5～0.9 dB。由此說明GOP越大，關(guān)鍵幀所占的比例越小，WZ幀所占的比例越大，所以RD性能改善越明顯。

(a)GOP=4的Coastguard序列RD對(duì)比圖

(b)GOP=4的Foreman序列RD對(duì)比圖

(c)GOP=4的Football序列RD對(duì)比圖

(d)GOP=8的Coastguard序列RD對(duì)比圖

(e)GOP=8的Foreman序列RD對(duì)比圖

(f)GOP=8的Football序列RD對(duì)比圖

(g)不同GOP時(shí)Foreman序列RD對(duì)比圖圖5 RD性能對(duì)比圖

從圖5(g)給出的不同GOP的RD對(duì)比圖(Foreman序列)可以看出：GOP=8比GOP=4的RD性能下降了0.3～0.5 dB，與內(nèi)插算法相比下降不劇烈，說明此算法隨著GOP的增大，性能比較穩(wěn)定。

4 結(jié)束語

為了在大GOP條件下實(shí)現(xiàn)解碼端生成高質(zhì)量邊信息，提出了一種適合于大GOP條件下的混合更新邊信息生成算法，通過將外推算法與內(nèi)插算法相結(jié)合并更新和二次重建來提高邊信息的質(zhì)量和系統(tǒng)的率失真性能。所提算法充分考慮了外推算法的實(shí)時(shí)性和內(nèi)插算法無遮擋等優(yōu)勢(shì)，將兩者結(jié)合使用。通過與BME算法對(duì)比可以看出,在大GOP下,該算法有效地提高了視頻序列邊信息生成的質(zhì)量，系統(tǒng)的率失真性能明顯提高，并且性能比較穩(wěn)定，適用于不同運(yùn)動(dòng)程度的視頻序列。

[1] Girod B,Aaron A M,Rane S,et al.Distributed video coding[J].Proceedings of the IEEE,2005,93(1):71-83.

[2] Hoangvan X,Jeon B,Lee Y L.A study on hierarchical side information generation structure in distributed video coding[C]//International conference on advanced technologies for communications.[s.l.]:IEEE,2011:53-57.

[3] Ren Peiming,Shi Ping,Luo Chao.A new scheme for side information generation in DVC by using optical flow algorithm[C]//2011 international conference on multimedia technology.[s.l.]:[s.n.],2011:2852-2856.

[4] Argyropoulos S,Thomos N,Boulgouris N V.Adaptive frame interpolation for Wyner-Ziv video coding[C]//9th workshop on multimedia signal processing.[s.l.]:IEEE,2007:159-162.

[5] Natario L,Brites C,Ascenso J,et al.Extrapolation side information for low-delay pixel-domain distributed video coding[C]//Visual content processing and representation.Berlin:Springer,2006:16-21.

[6] Liu R,Yue Z,Chen C W.Side information generation based on hierarchical motion estimation in distributed video coding[J].Chinese Journal of Aeronautics,2009,22(2):167-173.

[7] 楊春玲，馬 力.基于假設(shè)運(yùn)動(dòng)補(bǔ)償去噪的迭代邊信息改進(jìn)算法[J].電子與信息學(xué)報(bào)，2011,33(11):2553-2558.

[8] Zhang D Y,Ji Y T,Wang X M.A weighted motion compensation interpolation method for improving side information in distributed video coding[J].Applied Mechanics and Materials,2014,519:670-673.

[9] 程德強(qiáng),姜海龍,鄭 珍,等.基于可變塊運(yùn)動(dòng)矢量的邊信息生成算法[J].電視技術(shù)，2015,39(19):1-5.

[10] Abou-Elailah A,Dufaulx F,Cagnazzo M.Successive refinement of side information using adaptive search area for long duration GOPs in distributed video coding[C]//19th international conference on telecommunication.[s.l.]:IEEE,2012:1-6.

[11] Petrazzuoli G,Maugey T,Cagnazzo M.Side information refinement for long duration GOPs in distributed video coding[C]//IEEE international workshop on multimedia signal proceeding.[s.l.]:IEEE,2010:309-314.

[12] Li Zhen,Liu Limin,Edward J D.Rate distortion analysis of motion side estimation in Wyner-Ziv video coding[J].IEEE Transactions on Image Processing,2007,16(1):98-113.

[13] Lee Zilin,Yang Chunling,Wang Z J.Least square filtering for low-delay transform domain Wyner-Ziv video coding[C]//Proceedings of IEEE international symposium on intelligent signal processing and communication systems.[s.l.]:IEEE,2012:527-530.

[14] 張 備,楊春玲,鄭伯偉.基于分級(jí)運(yùn)動(dòng)估計(jì)的外推邊信息生成算法[J].計(jì)算機(jī)工程，2015,41(7):6-10.

A Side Information Generation Algorithm with Hybrid Updating in Large GOP

WANG Yan-ying，F(xiàn)ENG Jin-mei，ZHANG Wen-xiang

(College of Electronic & Information Engineering,Heilongjiang University of Science and Technology,Harbin 150027,China)

In the distributed video coding,the quality of side information plays an important role in the rate distortion performance of the system.The extrapolation method is widely used because of its good practicability in large GOP.In order to further improve the quality of the generated side information and the rate distortion performance with extrapolation algorithm in large GOP,an algorithm of side information generation based on hybrid updating is proposed.It is a hybrid one which consists of both extrapolation and interpolation algorithm.On the basis of the generated side information resulted from the extrapolation algorithm,the interpolation side information has been produced with motion estimation,vector filtering and motion compensation.While hybrid side information has been generated and updated via self-adaptive weight with the two algorithms the updated hybrid side information and WZ frame are reconstructed again.Experimental results show that the hybrid algorithm can significantly improve both the quality of side information and system rate distortion performance,and that performance of hybrid algorithm is stable,which is suit for video sequences with diverse exercise intensity.

side information;hybrid updating;extrapolation algorithm;interpolation algorithm;rate distortion

2016-05-09

2016-08-10

時(shí)間：2017-03-07

黑龍江省教育科學(xué)技術(shù)研究項(xiàng)目(12541707)

王艷營(yíng)(1981-)，女，碩士，講師，研究方向?yàn)橐曨l編碼通信;馮進(jìn)玫，博士，副教授，研究方向?yàn)閳D像處理;張文祥，碩士，教授，研究方向?yàn)闊o線傳感器網(wǎng)絡(luò)。

http://kns.cnki.net/kcms/detail/61.1450.TP.20170307.0921.026.html

TP37

A

1673-629X(2017)04-0055-05

10.3969/j.issn.1673-629X.2017.04.013